기업 생성형AI 설계부터 운영까지…메가존클라우드, `젠AI360` 서비스 출시

메가존클라우드는 생성형 AI(인공지능)를 도입하고자 하는 기업들을 위해 설계부터 구축, 운영까지 지원하는 기업 맞춤형 생성형 AI 엔드-투-엔드 서비스 '젠(Gen)AI360' 오퍼링을 출시했다고 19일 밝혔다.

'젠AI360'은 ▲기업의 생성형AI 활용 전략 수립 및 파일럿 과제 수행 등 컨설팅 ▲기업별 환경을 고려한 최적 플랫폼 선정과 데이터 학습·검증 ▲기업 내 활용 대상 서비스 개발 및 가이드 제공 ▲생성형AI 운영 전략 수립 및 서비스 운영 등으로 구성된다.

메가존클라우드는 지난 7월부터 9주간 사내 HR 헬프데스크에 접수된 질의응답을 한국어 특화 LLM(대규모언어모델)에 학습시키고, 관련 문서와 사내 가이드는 RAG(검색증강생성)를 적용해 신뢰할 수 있는 답변을 생성토록 하는 프로젝트를 수행했다. 그 결과, 첫 질문에 대한 답변 정확도는 평균 75% 이상으로 확인됐고, 이후 질문 수정 및 추가 질문을 통해 90% 이상으로 향상된 것으로 평가됐다. 질의응답 관련 단순·저효율 업무가 실제 감소되는 성과를 확인했다.

메가존클라우드는 이번 성과를 토대로 RLHF(인간피드백 기반 강화학습)을 통해 답변 품질을 향상시키는 고도화 작업을 진행 중이다. 이 파일럿 프로젝트는 '아마존 세이지메이커'와 '아마존 켄드라' 등 데이터 분석 및 AI·ML(머신러닝)을 위한 다양한 AWS(아마존웹서비스) 서비스를 근간으로 한 클라우드 기반 아키텍처로 구성됐다. 비용효율적인 아키텍처 구성 및 답변 품질을 향상시킬 수 있는 학습방법 등을 위해 AWS와 생성형AI 분야 기술협력을 강화했다.

메가존클라우드는 이 과정을 통해 기업들이 생성형AI 도입시 고려해야 할 사항과 구축 과정에서 마주할 수 있는 문제점들에 대한 해결방안 등 고객 서비스에 활용할 수 있는 실질적 노하우를 축적했다고 설명했다. 비용 최적화, 기업 고유한 데이터 적용 및 기준 시간, 유의어 사전 등을 포함한 프롬프트 엔지니어링, 할루시네이션(환각) 현상과 리소스 비용 최적화 및 구현 방법 등을 대표적 사례로 꼽았다.

공성배 메가존클라우드 AI&데이터분석센터장은 "LLM에 대한 뜨거운 관심에 비해 비즈니스 가치가 검증된 사례는 많지 않은 게 사실"이라며 "메가존클라우드의 경험과 기술력을 AWS 서비스에 결합해 LLM의 한계를 극복하고 비즈니스적 가치를 고객들에게 명확하게 제공할 것"이라고 말했다.팽동현기자 dhp@dt.co.kr