와이즈넛(대표 박재호)은 중국 상하이 연구개발법인인 아이진소프트와 공동으로 일본어와 중국어 형태소분석기를 개발했다고 11일 밝혔다.

형태소 분석기는 검색엔진, 자동분류기, 정보수집기 등 언어처리를 통해 정보를 처리하는 검색솔루션의 품질을 좌우하는 핵심 모듈이다.

와이즈넛은 2003년에 개발한 한국어 형태소분석기에 이어 일본어 및 중국어 형태소분석기를 개발함으로써 한국어, 일본어, 중국어가 포함된 문서를 각각의 언어에 맞는 형태소분석기로 색인할 수 있어 색인의 효율성과 검색의 품질을 높일 수 있게 됐다.

회사측은 일본어 형태소분석기는 멀티플랫폼 지원, 사용자ㆍ동의어ㆍ불용어ㆍ금칙어 사전 지원, 일본어 표기의 흔들림 대응 및 라이브러리 API 등의 다양한 기능을 제공하고, 중국어 형태소분석기는 세그멘테이션 및 품사 태깅기능 지원, 동의어ㆍ불용어 처리와 멀티플랫폼 지원이 특징이라고 설명했다.

와이즈넛 강용성 이사는 "이번에 개발한 일본어 형태소분석기는 글로벌 업체의 형태소분석기를 적용한 것보다 색인시간을 약 50% 단축할 수 있다"고 말했다.

강동식기자 dskang@