이런 추세에 글로벌 빅테크 기업에서 신흥 스타트업까지 생성형 AI의 엔진이자 핵심인 '거대언어모델(LLM)' 개발에 앞다투어 뛰어들고 있다. 이처럼 고성능 LLM에 대한 기업의 니즈가 급증하면서, B2B 생성형 AI 시장은 크게 '퍼블릭 LLM'과 '프라이빗 LLM' 진영으로 양분되고 있다.
◇생성형 AI, 퍼블릭과 프라이빗 진영으로 양분
오픈AI, 구글 등 빅테크가 주도하는 퍼블릭 LLM은 생성형 AI 대중화를 이끌며 초기 시장을 선점했다. 하지만 외부 클라우드 사용으로 데이터 유출 리스크와, 잘못된 정보를 생성하는 환각 현상(할루시네이션) 등의 문제점이 불거졌다. 실제로 애플, 아마존, 삼성전자 등에서 내부 임직원들에게 '챗GPT 경계령'을 내리는 등 보안 이슈로 도입을 꺼리는 기업들이 생겨났다.
이에 대항마로 프라이빗 LLM이 등장하면서 기업용 시장을 파고드는 모양새다. 표현 그대로 기업의 내부 데이터만 활용해 보안성을 높이고 거짓 정보를 생성하는 환각 현상(할루시네이션) 방지에 최적화된 모델이다. 여기에 상대적으로 작은 모델 사이즈로 비용 측면에서도 각광받으며 차세대 생성형 AI 시장 대세론을 타고 있다.
프라이빗 LLM의 핵심은 보안성이다. 기업 서버에 설치하는 구축형 '온프레미스' 방식이나 전용 프라이빗 클라우드로 도입, 기업의 민감 데이터가 유출될 가능성을 전면 차단한다. 이를 통해 기업들은 LLM 도입의 최대 허들인 데이터 및 민감 정보 유출을 방지할 수 있다.
다음으로, 프라이빗 LLM은 생성형 AI의 고질적인 문제이자 현재 LLM의 최대 한계점으로 꼽히는 할루시네이션 방지에 특화된 모델이다. 프라이빗 LLM은 범용 모델과 달리 기업 내부 데이터로 학습 대상을 제한한다. 그만큼 거짓 정보를 생성할 가능성이 낮아져 사용성을 향상시킨다.
또한, 작은 사이즈로도 비용 대비 효과를 극대화한다. 프라이빗 LLM은 보통 100B(1조) 사이즈 이하의 경량 모델로, 흔히 'ss(소규모) LLM'으로 불린다. 이에 비해 오픈AI의 GPT-4 매개변수(파라미터)는 5000억 개로 추산되고, 구글의 '제미니'는 조 단위에 이르는 등 모델 사이즈가 상당하다. 매개변수가 큰 만큼 모델 서빙 비용이 상당할 수 밖에 없는 구조다.
◇작은 AI가 맵다
프라이빗 LLM은 훨씬 작은 모델 사이즈로도 성능은 빅테크에 필적한다. 예를 들어, 업스테이지는 지난 8월 700억 매개변수 모델로 글로벌 머신러닝 플랫폼 '허깅페이스'에서 운영하는 '오픈 LLM 리더보드' 평가 순위에서 챗GPT의 기반인 GPT-3.5 성능을 뛰어넘고 세계 1위를 차지하기도 했다. 추론과 상식 능력, 언어 이해 종합능력 및 할루시네이션 방지 등 4가지 지표 평균에서 빅테크의 거대 모델을 능가한 것이다. 특히, 업스테이지는 자사의 LLM 활용 시 GPT-3.5 대비 비용은 40% 감축하고, 처리 속도는 30% 빠른 것으로 추산했다.
이에 많은 기업들은 프라이빗 LLM의 강점을 내세운 다양한 어플리케이션으로 영토를 확장하고 있다. 일례로 세일즈포스는 최근 대화형 AI 어시스턴트 '아인슈타인 코파일럿'을 선보였다. 세일즈포스 데이터 클라우드에 저장된 각종 정형·비정형 데이터를 토대로 콘텐츠와 코드를 생성해 준다. 기업이 보유한 정확한 고객 데이터에 기반해 할루시네이션(환각) 현상이 적고, 데이터는 세일즈포스의 고객관계관리(CRM) 데이터 클라우드에 보관함으로써 안전성도 담보했다.
◇국내 스타트업에도 기회 있다
국내에서는 업스테이지가 눈에 띈다. 업스테이지는 최근 챗GPT를 뛰어넘은 자사의 허깅페이스 1위 모델을 기반으로 자체 LLM 'SOLAR (Specialized and Optimized Llm and Applications with Reliability)'를 발표했다. 솔라는 이름처럼 도메인 특화와 최적화에 촛점을 맞추고 기업 데이터를 학습, 정보 유출과 환각 현상을 방지할 수 있는 프라이빗 LLM을 지향한다.
국내 플랫폼 업계에서는 커넥트웨이브와 롯데쇼핑이 생성형 AI 도입에 적극적으로 나서고 있다. 특히 두 기업은 세계 최고 오픈 LLM 모델을 만든 업스테이지와의 협력을 통해 플랫폼 특화 생성 AI를 구축할 계획이다.
커넥트웨이브는 일찍이 업스테이지와 손잡고 국내 이커머스 업계 최초로 프라이빗 LLM 구축을 알렸다. 자사 데이터 커머스 플랫폼인 다나와와 에누리를 방문하는 소비자가 프라이빗 LLM을 통해 주관적이거나 추상적인 속성을 입력해도 원하는 상품을 손쉽게 찾고 추천받을 수 있게 해 쇼핑 만족도를 극대화할 전망이다. 또한, 프라이빗 LLM에 자사의 쇼핑몰 제작 솔루션인 메이크샵의 데이터를 학습시켜 배송조회부터 문의 사항, 반품 상담, 리뷰 요약, 상품 카피(copy) 개발까지 자동으로 가능하게 할 예정이다.
◇개인화된 상품 추천도 맞춤 구현
롯데쇼핑은 업스테이지와의 생성형 AI 활용 업무협약 체결을 통해 서비스 운영 비용 절감은 물론 생산성 향상과 추가 수익 창출, 신규 사업 추진의 기반으로 활용할 청사진을 세웠다. 양사는 이미 지난 2년 간의 협업을 통해 개발한 개인화된 AI 상품 추천 서비스를 올 6월 롯데온에 도입하여 1월에 실시한 테스트 대비 구매전환율 30% 증가의 효과를 입증한 바 있다. 앞으로도 적극적으로 AI를 도입하여 차별화된 초개인화 트렌드를 선도해 디지털 혁신을 이뤄간다는 계획이다.
생성형 AI 도입을 통한 디지털 체질 개선은 이제 대세를 넘어 필수로 자리 잡는 추세다. 하지만 이를 자체 개발하기 위해서는 전문 인력 확보를 포함한 막대한 투자 비용이 필요하고, 외부의 AI 기술 도입을 고려할 때에도 데이터 보안 문제와 할루시네이션 등을 염두에 둬야 하는 것이 큰 허들이다. 자연스레 그 기반인 LLM을 구축하는 데 신중을 기할 수밖에 없다. 도메인에 특화된 프라이빗 LLM에 대한 관심이 커지는 이유다. 팽동현기자 dhp@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
