ETRI '코버트' 개발해서 공개
구글 다국어 언어모델 '버트' 비해
성능 평균 4.5% 가량 우수해
AI 스피커 성능 향상 큰 기대
구글 다국어 언어모델 '버트' 비해
성능 평균 4.5% 가량 우수해
AI 스피커 성능 향상 큰 기대
최근 국내 통신사들이 출시한 AI(인공지능) 스피커는 사람들의 말을 제법 잘 알아 들을 정도로 성능이 향상됐다. 그런데 사람들의 자연스러운 말을 간혹 인식하지 못해 엉뚱한 답변을 내놓곤 한다. 한국어에 최적화된 언어모델을 확보하지 못해 구글의 다국어 언어모델을 기반으로 서비스를 제공하고 있기 때문이다.
앞으론 AI 스피커가 사람들의 말귀를 제대로 알아 듣고 답하는 등 한결 똑똑해질 전망이다.
한국전자통신연구원(ETRI)은 구글의 다국어 언어모델인 '버트(BERT)'에 비해 성능이 뛰어난 한국어 언어모델 '코버트(KorBERT)'를 개발, 공개했다고 11일 밝혔다.
코버트는 구글의 언어표현 방법을 기반으로 더 많은 한국어 데이터를 넣어 만든 언어모델과 한국어 고유의 '교착어' 특성까지 반영한 2개 모델로 구성됐다. AI 스피커나 AI 검색 등의 서비스를 구현하려면 딥러닝 기술을 활용해 텍스트에 기술된 어절을 숫자로 표현하는 언어처리 과정을 거친다. 지금까지는 주로 구글의 '버트'가 언어처리 과정에 활용됐다. 버트는 문장 내 어절을 한 글자씩 나눈 뒤, 앞뒤로 자주 만나는 글자끼리 단어로 인식하는 방식이다. 구글은 40만 여건의 위키백과 문서 데이터를 사용해 한국어 언어모델을 구현했다.
이와 달리, ETRI의 코버트는 버트 데이터에 지난 10년 간의 신문기사와 백과사전 정보를 추가해 45억개의 형태소를 학습시켜 구글보다 더 많은 한국어 데이터를 기반으로 개발됐다. 데이터 양만 늘린 것이 아니라, 다른 언어와 달리 어근에 조사가 붙는 교착어인 한국어 특성을 반영해 의미의 최소 단위인 형태소까지 담아 한국어에 최적화된 언어모델을 만들었다.
코버트는 구글의 버트에 비해 성능이 평균 4.5% 가량 우수한 것으로 평가됐고, 단락 순위화 기준으로는 7.4%나 높은 것으로 나타났다. 대표적인 딥러닝 프레임워크인 '파이토치'와 '텐서플로우' 환경에서 사용할 수 있으며, 공공인공지능 오픈 API, 데이터 서비스 포털 등에서 쉽게 찾아볼 수 있다.
ETRI는 코버트를 지난 3월 한컴오피스 '지식검색 베타버전'에 탑재했으며, 하반기에는 법률, 특허 분야에 적용하기 위한 언어모델로 출시할 계획이다.김현기 ETRI 박사는 "한국어에 최적화된 언어모델 확보를 통해 한국어 분석, 지식추론, 질의응답 등의 다양한 한국어 딥러닝 기술을 고도화할 수 있게 됐다"며 "AI 비서, AI 질의응답, 지능형 검색 등 한국어를 활용한 한 차원 높은 인공지능 서비스 개발에 큰 기여를 할 것"이라고 말했다.
한편 ETRI는 지난 2017년부터 언어지능 기술 오픈 API와 기계학습 데이터를 공개해 지금까지 대학, 산업체, 개인 개발자 등이 1300만건 이상을 활용했다.
대전=이준기기자 bongchu@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
