이미지 확대보기페이스북은 공식 블로그를 통해 AI 언어 모델 M2M-100을 개발했다고 밝혔다.
기존 번역 모델은 한국어, 중국어 등 영어가 아닌 언어를 번역할 때 중개언어인 영어로 먼저 번역하는 과정을 거쳤다. 기준이 되는 언어가 있는 만큼 학습·처리속도가 빠르지만 언어의 교유한 특성을 살릴 수 없다는 한계가 있었다.
M2M-100은 중개 언어 없이 각 언어를 직접 비교해 번역한다. 페이스북은 M2M-100이 번역기 품질을 평가하는 'BLEU 평가'에서 기존 방식보다 10포인트 이상 높은 점수를 얻었다고 발표했다. 페이스북은 이를 위해 뉴스피드에서 매일 발생하는 200억 건의 번역을 인공지능 모델에 학습시켰다. 또한, 100개 언어로 구성된 75억 개의 MMT 데이터셋을 구축하고 각 언어별 연관성이 높은 단어간 데이터쌍을 구축했다.
안젤라 팬 페이스북 파리 AI 연구소 데이터 전문가는 "수년동안 AI 연구원은 다양한 작업에서 모든 언어를 이해할 수 있는 단일 범용 모델을 구축하기 위해 노력해왔다"며 "모든 언어, 방언·양식을 지원하는 단일 모델은 많은 사람에게 더 나은 서비스를 제공하고 새로운 경험을 동등하게 만드는 데 도움이 될 것"이라고 말했다.
페이스북은 앞으로 전 세계 7,000개 이상의 언어 쌍 간 번역을 할 수 있는 모델을 구축할 계획이다.
박미소 기자 postmoneynews@gmail.com
