기계 번역 놀이, 구글 번역 vs 네이버 파파고

Airbnb. 체크아웃을 하는 날.

영어는 한마디도 못하는 주인 할머니가 여행을 떠나셨나 보다. 해서 체크아웃을 앞두고 프랑스말 메시지를 남기셨는데, 구글 번역과 네이버 파파고를 이용해서 번역해보았다. 그리고 기계 번역을 잘 알지 못하는 자의 설명을 달았다.

글을 읽는 편의상 헷갈리지 말라고

구글 번역은 빨강색 굵은 폰트로 왼쪽 정렬, 

네이버 파파고는 검정색 굵은 폰트로 오른쪽 정렬

설명은 파랑색으로 양쪽 정렬을 했다.

원본 글 (프랑스어)

Bonjour Minsuk

Je ne suis pas chez moi jusque demain

Vous avez le temps pour partir

Simplement pour vous dire de laisser les clefs sur le meuble avant de sortir .

Merci de votre visite

J’espère que tout c’est bien passé pour vous .

Si vous avez été content de l’appart n’hésitez pas à mettre 5 étoiles pour nous c’est très important

Bon voyage au plaisir s’de vous revoir

Valentine

우선 

< 구글 번역의 프랑스어 ==> 한국어 번역 >

 안녕 민숙

나는 내일까지 집에 없다.

너는 떠날 시간이있어.

외출하기 전에 열쇠를 가구에 두라고 말하기 만하면됩니다.

방문해 주셔서 감사합니다.

모든 것이 당신을 위해 잘되기를 바랍니다.

아파트에 만족했다면 별 5 개를 주저하지 말고 매우 중요합니다.

다시 만나서 반갑습니다.

발렌타인 데이

< 네이버 파파고의 프랑스어 ==> 한국어 번역 >

 안녕하세요

나는 내일까지는 집에 없다

떠날 시간이 없으니 출발하시오

그냥 나가기 전에 열쇠를 풀기 위해 열쇠를 남겨 놓으세요.

방문해 주셔서 감사합니다.

저는 당신에게 모든 일이 잘 되길 바래요.

만약 당신이 appart에 만족하지 않는다면, 우리는 다섯개의 별에 다섯개의 별을 그려 넣을 것입니다.

즐거운 여행을 즐기세요

밸런타인

누가봐도 구글 번역이 더 번역을 잘한 듯 하다. 글을 읽어보면 네이버 파파고가 약간 더 의역을 한 느낌이다. 이 글을 쓴 이유를 알고 있는지라 두 번역 모두 원본의 의미를 이해하는 데는 큰 문제가 없으나, 둘 다 만족스럽지 않은 번역이다. 특히 별 다섯개를 달라는 문장에서 네이버 파파고는 틀린 번역을 했다. 그리고 프랑스어에 존대말이 있는지는 모르겠으나 두 번역 결과에 공히 반말, 존댓말이 섞어 있는 것은 좀 이상하다. (아마 구문 분석에 의한 번역이 아니라, 문장 학습에 의한 번역이라서 그럴 것이라고 추정). 네이버 파파고는 첫 줄에서 사람 이름을 날려 버렸다. 이건 이해가 잘 안된다.

그래서 원본의 영어 번역을 해보았다. 유럽나라 언어들에 대한 영어 번역은 거의 완벽한 수준이라고 소문이 나있다. 한글 일본어 번역처럼.

< 구글 번역의 프랑스어 ==> 영어 번역 >

 Hello Minsuk

I'm not home until tomorrow

You have time to leave

Just to tell you to leave the keys on the furniture before going out.

thank you for your visit

I hope everything went well for you.

If you were happy with the apartment do not hesitate to put 5 stars for us it's very important

Have a nice trip to see you again

Valentine

< 네이버 파파고의 프랑스어 ==> 영어 번역 >

Good morning

I'm not at home until tomorrow

You have the time to leave

Simply tell you to leave the keys on the furniture before you leave.

Thank you for your visit

I hope that all of you have done it well for you.

If you have been happy with the appart, don't hesitate to put 5 stars for us.

Good travel fun for you

Valentine 

이것도 약간 구글 번역이 번역을 잘한 듯 한 느낌이다. 영어 번역 결과는 두 번역기 모두 한국어에 비하여 훨씬 좋은 듯 하나 완전 만족스러운 수준은 아니다. 이 결과를 보고나니, 원래 프랑스어 원본 글 자체가 뭔가 잘 써지지 않은 글일 수도 있겠다는 느낌이 들기는 한다 (프랑스 말을 모르니..). 그나저나 네이버 파파고는 영어 번역에서도 프랑스어 원본의 '봉쥬르 민석'에 있는 이름을 역시 날려 버리고 'Good morning'이라고만 했다. 네이버는 나를 싫어하는가 보다.

하여간 이렇게 번역된 영어를 각각 다시 한국어로 바꾸어 보았다.

< 구글 번역의 프랑스어 ==> 영어 ==> 한국어 번역 >

안녕 민숙

나는 내일까지 집에 없다.

너는 떠날 시간이있어.

외출하기 전에 열쇠를 가구에 두라고 말하기 만하면됩니다.

방문해 주셔서 감사합니다.

모든 것이 당신을 위해 잘되기를 바랍니다.

아파트에 만족했다면 별 5 개를 주저하지 말고 매우 중요합니다.

다시 만나서 반갑습니다.

애인 

놀랍다. 프랑스어를 한국어로 직접 번역한 것과 거의 같은 결과가 나왔다. 마지막 줄의 '발렌타인 데이'가 '애인'으로 바뀐 것만 빼고는. (번역기를 함부로 쓰면 안된다. ㅎㅎㅎㅎ, 신분이 막 상승한다.) 이 번역 결과를 보면 1년여 전에 뉴스에서 구글 번역이 자연어 번역에 새롭게 만들어진 '중간 언어'를 사용한다는 것을 증명하는 듯 하다. (관련글: http://etinow.me/113)

< 네이버 파파고의  프랑스어 ==> 영어 ==> 한국어 번역 >

좋은 아침입니다.

내일이 되어서야 집에 갈 수 있다.

떠날 시간이 있다

떠나기 전에 가구에 열쇠를 두고 가라고만 말해.

방문해 주셔서 감사합니다

여러분 모두가 잘 해내기를 바랍니다.

만약 당신이 그 파트에 만족했다면, 주저하지 말고 별 5개를 우리를 위해 넣어 주세요.

좋은 여행 되길 바래

발렌타인 

음, 네이버 파파고의 경우, 프랑스어를 한국어로 직접 번역한 것보다 정확도가 높아 보인다. '프랑스어 ==> 영어'가 비교적 번역이 쉽고, '영어 ==> 한국어'가 학습이 더 많이 되어서 일거다. 그나저나 네이버 파파고는 구글 번역보다 약간 더 반말 모드다.

이번엔, 모든 (특히 구글) 번역이 일본어를 거치면 완벽해 진다는 속설을 검증하기 위해서 일본말을 거쳐서 번역을 해보았다.

< 구글 번역의 프랑스어 ==> 일본어 ==> 한국어 번역 >

헬로 민스크

나는 내일까지 집에 없습니다

당신은 출발 시간이 있습니다

외출 전에 열쇠를 가구에두고 있어야합니다.

당신의 방문을위한 감사

나는 모두가 당신을 위해 잘하고 싶으면.

만약 당신이 아파트에 만족하면 우리에게 5 개의 별을 둘 것을 주저하지 않습니다. 그것은 매우 중요합니다

다시 만나러 좋은 여행을하십시오

발렌타인

번역 자체는 그럭저럭 되었는데, 직접 한국어로 번역한 것보다는 좋아 보이지는 않는다. 다행스러운 것은 일본말을 거쳤더니 반말이 없어지고 공손해졌다. (머신러닝을 바탕으로 번역을 하면, 학습 데이터에 녹아있는 문화가 반영된다.) 하지만  '중간 언어' 덕에 일본어를 거쳐도 영어를 거친 것과 거의 똑같은 결과가 나올 것으로 예상했는데 그 예상은 깨졌다. 영어를 거쳤을 때와는 달리 구글 번역이 모든 번역에 중간 언어를 사용하고 있는지를 의심해야하는 결과이다.

< 네이버 파파고의 프랑스어 ==> 일본어 ==> 한국어 번역 >

안녕하세요 Minsuk

나는 집에 없는 내일까지

당신은 시간이 갑니다.

특화된 것을 알리기 위한 키에 가구 전에.

감사합니다 방문

J은 모든 대학은 잘할 수 있습니다.

가서 보니 만족할 appart이 있으면 을 5개의 별이 우리 때문에 thecorrespondingexplanatorytext는 매우 중요합니다.

여행 후에 그들 다시 만나게 됩니다.

발렌타인 

앗, 멘붕 수준의 번역이다. 아니 번역이라고 할 수 없는 수준의 이상한 결과가 나왔다. '프랑스어 ==> 일본어' 번역 단계에서 이미, 중간에 있는 'J는 모든 대학..' 부분과 'thecorrespondingexplanatorytext' 부분에 이미 문제가 있었다. 아마도 네이버 파파고는 중간 언어라는 개념이 전혀 없는 것으로 추정되며, 우리나라에서는 인기가 없는 언어에서 한국어가 아닌 다른 언어로의 번역에 대해서는 거의 신경을 안 쓴 결과로 보인다. 네이버 파파고가 잘 아는 한국어를 거쳐서 번역을 하면 더 잘 될 것 같은데 웬지 그렇게 하지는 않나보다. 그래서 수동으로 한국어를 중간에 넣어 번역을 해보았다.

< 네이버 파파고의 프랑스어 ==> 한국어 ==> 일본어 ==> 한국어 번역 >

안녕하세요

나는 내일까지는 집에 없다

떠날 시간이 없으니 출발하세요

그대로 나가기 전에 열쇠를 해결하기 위해서 키를 남겨두세요.

방문하고 주셔서 감사합니다.

저는 당신에게 모든 일이 잘 되어 주세요.

만약 당신이 appart에 만족하지 못하면 우리는 다섯개의 별에 다섯개의 별을 그리며 들어간 것입니다.

즐거운 여행을 즐기세요

발렌타인 

네이버 파파고가 프랑스어를 일본어로 번역할 때 한국어를 중간에 넣으니 백만배는 좋아졌다. 아마도 개발자들은 알고 있을 것 같은데 왜 이렇게 번역을 하지않는지 이유를 모르겠다. 언어별 번역 성능을 평가하는 모델이 아직 확립되지 않아서 일 것 같다고 추측된다 즉 이글에 제시된 예문이 아니라, 다른 프랑스어를 일본어로 번역할 때는 잘 될 가능성이 있다는 의미이다.

어쨌거나 

오늘의 결론 : 품위있는 기계 번역은 기술적인 진보가 더 필요하다. 어쩌면 영원히 만족할 수준으로는 번역하는 것이 불가능할 지도 모르지만, 아직 할 일이 많다. 네이버나, 구글이나 다른 기계 번역 업체들, 또 학교, 연구소에서 연구하시는 분들 모두 분발하자.

*