실시간 번역 이어폰이 대화에서 막히는 지점

번역 이어폰 광고를 보면 두 사람이 각자 모국어로 자연스럽게 대화해요. 저희도 전화로 음성을 주고받는 걸 만드는 회사라 그 장면이 실제로 얼마나 가능한지 궁금했어요. 결론부터 말하면 번역 품질은 이미 충분한데 지연이 안 줄어요. 그리고 지연은 노력으로 줄일 수 있는 종류가 아니에요.

왕복 한 번에 무엇이 쌓이나

음성으로 오가는 시스템은 단계가 정해져 있어요. 상대가 말을 끝냈는지 판단하고 소리를 글자로 옮기고 그 글을 처리하고 다시 소리로 만들어 내보내요. 번역이 붙으면 그 사이에 단계가 하나 더 들어가고요.

각 단계가 아무리 빨라도 순서를 건너뛸 수는 없어요. 한국어와 중국어 사이에서는 특히 기다려야 해요. 한국어는 동사가 문장 맨 끝에 와요. “저는 내일 회사에”까지 들어서는 가는지 안 가는지 몰라요. 중국어는 我wǒ明天míngtiān去qù公司gōngsī처럼 동사가 앞쪽에 서야 하니까 번역기는 한국어 문장이 끝날 때까지 기다려야 옮길 수 있어요. 안전하게 만들수록 느려져요.

사람의 대화는 0.2초 안에서 굴러가요

Tanya Stivers와 동료들이 2009년에 열 개 언어의 대화를 쟀어요. 언어마다 조금씩 달랐지만 대답은 대개 상대 말이 끝나고 0.2초 안에 나왔어요.

그러니까 왕복에 2초가 붙는 순간 그 대화는 사람의 리듬 밖으로 나가요. 내용은 정확하게 전해지는데 대화가 아니게 돼요. 각자 말하고 기다리고 번역기가 읽어 줘요. 교대로 하는 발표에 가까워요.

그리고 못 넘어가는 것들

지연을 다 없앤다고 해도 남는 게 있어요.

사람들은 상대 말이 끝나기 전에 끼어들고 맞장구쳐요. “아 진짜?” “그래서?” 같은 말이 대화를 굴리는데 번역기는 한 사람씩 처리해요. 중국어 대화에서도 상대가 말하는 동안 对对对duì duì duì나 是shì吗ma 같은 맞장구가 오가요. 그 말들은 번역할 내용이 아니라 지금 듣고 있다고 상대에게 알리는 소리예요.

농담은 바로 웃어야 농담이에요. 정확하게 번역된 농담을 2초 뒤에 들으면 웃을 때가 지나 있어요.

이어폰을 낀 사람은 상대 얼굴이 아니라 소리를 기다려요. 시선이 미묘하게 다른 데 가 있고 상대는 그 시선을 알아채요.

그래서 남는 자리

번역기가 맞장구와 농담과 시선을 다 해내는 날이 올 수도 있어요. 다만 그날이 와도 남는 게 하나 있는데 상대의 언어로 직접 말을 건다는 사실 자체예요. 성능이 아니라 성의의 문제라 기술이 좋아진다고 대신할 수 없어요.

저희가 만드는 것도 거기에 있어요. 번역이 아니라 직접 말하는 연습이에요. 읽고 쓰는 건 이미 기계가 더 잘하니까 남은 건 실시간으로 주고받는 그 하나예요.