상담내용 요약·해결책 제시
활용이력·목적 파악 후 추천
활용이력·목적 파악 후 추천
싱가포르에 출장을 간 SKT 이용자가 로밍 요금제를 상담하면, AI가 가입자의 그간 통신 활용 이력과 출장 목적 등 맥락을 파악해 맞춤형 상품을 추천해준다.
SK텔레콤이 5G 요금제, T멤버십 등 통신 서비스에 특화된 '텔코 LLM'을 오는 6월 선보인다. 연내 고객센터 등 실제 서비스에서 활용한다. 한국어향 텔코 LLM을 우선 상용화한 이후 향후 글로벌 'GTAA(글로벌 텔코 AI 얼라이언스)' 협력 논의가 본격화되면, 해외 진출을 위해 글로벌향 텔코 LLM도 본격 집중할 계획이다.
텔코 LLM은 SK텔레콤의 '에이닷엑스(A.X)'와 오픈AI의 GPT, 앤스로픽의 클로드 등의 범용모델을 기반으로 튜닝했다. 이들과의 협력으로 통신사에 특화된 데이터를 수집하고 정형·비정형 데이터를 선별해 학습시켜 약 8개월에 걸쳐 통신사 특화 LLM을 만들었다. 특히 오픈AI와 협력시에는 3개월로 학습 기간이 줄었다.
SKT의 텔코 LLM은 파인튜닝, 휴먼 피드백 기반 강화학습(RLHF)을 거치고 최종 벤치마킹을 하는 사이클을 여러번 가동해 정확도를 높이는 것이 특징이다. 파인튜닝된 텔코 LLM이 답변한 내용에 대해 상담사들이 직접 품질, 만족도 등을 평가하는 과정을 거치고, 언어능력과 추론능력 등에 대한 모델평가를 한다. 가령 요금제를 문의하거나 부가서비스를 변경을 요청해 높은 점수를 받으면 관련 데이터를 더 구축하는 식이다. 이 과정을 거치면 텔코 LLM이 더 '똑똑해진다'는 설명이다. SKT는 범용 LLM 대비 텔코 LLM이 30~35% 가량 통신 영역에서 높은 수준의 생성형 AI 작업을 수행할 수 있다고 밝혔다.
'AI 컴퍼니'를 내세우고 있는 SKT는 네트워크 운용 등 인프라를 포함해 고객서비스, 유통망, 사내 업무 등으로 파고들기 위해 특정 업무에 최적화된 LLM을 쓸 수 있도록 멀티 LLM 전략을 택했다. 가령 산업 특성별로 파인튜닝과 벤치마킹을 거치면, 오프라인 상담에서도 대리점 내 '화상상담 부스'에서 AI 상담사와 상담을 할 수 있고, PR(홍보) 업무에도 보도자료 초안 작성을 도울 수 있다. 법무팀에서는 계약서 체크리스트를 검토하고 유사사례를 검색해 활용할 수 있다. 인프라 운용시에도 텔코LLM이 장비 매뉴얼, 대응 사례 등의 정보를 기반으로 답변을 빠르게 제공해 해결방안을 쉽게 찾을 수 있다.
당장은 한국향으로 출시되지만, 글로벌 협력이 구체화하면 글로벌 텔코 LLM도 본격 출시한다. SKT는 지난 2월 스페인 바르셀로나에서 열린 'MWC(모바일월드콩그레스) 2024'에서 도이치텔레콤, 이앤그룹, 싱텔그룹, 소프트뱅크와 'GTAA(글로벌 텔코 AI 얼라이언스)' 창립 총회를 열고 텔코 LLM 사업 수행 합작법인을 연내 출범키로 했다고 밝힌 바 있다. 지난해 설립한 '글로벌 AI 플랫폼 코퍼레이션 코리아' CTO를 겸하고 있는 정민영 SKT AI플랫폼 담당은 "한국에서도 개발 관련 별도 지사를 세워 '퍼스널AI 어시스턴트'를 포함해 글로벌 서비스 개발 노력을 하고 있다"며 "글로벌 텔코 LLM은 전세계 통신사가 표준과 업무가 비슷해 모든 데이터가 다 필요하지 않아 적용이 까다롭지 않을 것"이라고 말했다.
김나인기자 silkni@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
