![[팽동현의 테크딥다이브] AI모델도 효율화 바람… SLM·MoE에 쏠리는 눈](http://contents.dt.co.kr/images/202404/2024042802109931081001[1].jpg "[팽동현의 테크딥다이브] AI모델도 효율화 바람… SLM·MoE에 쏠리는 눈")
지난 25일(현지시간) MS(마이크로소프트)와 알파벳(구글 모회사)은 각각 월가 전망치를 상회하는 1분기 실적을 발표했다. 양사 모두 AI 수요 덕분에 클라우드 매출이 전년 동기보다 각각 31%, 26% 성장한 게 주효했다. MS는 미국 시가총액 선두질주를 이어갔고, 알파벳의 경우 발표 이튿날 주가가 10%가량 오르며 MS·애플·엔비디아에 이어 시총 2조달러 클럽에 들었다.
이처럼 클라우드 기반 초거대AI와 AI 학습·추론 인프라 수요를 중심으로 성장세가 이어지는 와중에 빅테크들의 LLM(대규모언어모델) 다양화 시도도 추진되고 있다. SLM 또는 sLLM이라 불리는 경량언어모델까지 그 라인업을 확대하는 추세다. 메타 '라마' 등 오픈모델이나 AI스타트업들의 파인튜닝(미세조정) 모델을 함께 제공하는 것을 넘어 직접 새 모델을 내놓고 있다. 온디바이스AI도 그 용도에 속하겠지만, 가장 큰 이슈는 비용으로 보인다.
MS는 최근 파라미터(매개변수) 38억개의 '파이-3 미니'를 출시했다. 향후 추가될 스몰(70억개)과 미디엄(140억개)까지 파이3의 3종 모델 중 가장 작은 규모다. MS는 이 모델이 10배 큰 모델 수준의 응답을 제공할 수 있고, 비슷한 기능을 가진 다른 모델들에 비해 학습·구동에 드는 비용이 10분의 1 수준이라고 설명했다. 앞서 구글은 삼성 갤럭시S24에 온디바이스AI로 적용된 '제미나이 나노'(18억·32억5000개)와 오픈모델 '젬마'(20억·70억개)를 선보였고, 최근 메타는 오픈모델 '라마3'를 두 가지 버전(80억·700억개)으로 공개한 바 있다.
하나의 LLM을 분야별 전문영역으로 나눠서 주어진 질문에 대해 해당 영역 모델들만 작동케 하는 MoE(전문가혼합) 방식 또한 대세로 자리잡고 있다. 오픈AI GPT-4에 쓰인 것으로 알려진 이후 미스트랄AI 등 AI스타트업들도 적용하기 시작, 최근에는 데이터브릭스(DBRX)나 스노우플레이크(아크틱) 등 데이터플랫폼들까지 이를 활용한 오픈모델을 내놨다. 스노우플레이크에 따르면 '아크틱' 모델은 4800억개 파라미터 중 한 번에 17개씩 활성화되는 방식으로 토큰 효율을 크게 높였다. 추론·학습 중 라마3 70B보다 약 75% 적은 매개변수를 활성화한다. 모델 구축에 3개월 미만이 소요됐고, 학습 비용은 유사 모델 대비 8분의 1에 그쳤다.
국내에서는 네이버가 사용자가 작업 종류나 비용 등에 따라 적합한 AI모델을 선택할 수 있도록 라인업 확장을 개시했다. '클로바스튜디오'를 통해 '하이퍼클로바X'의 신규모델로 출시한 'HCX-대시(DASH)'는 기존 '하이퍼클로바X(HCX-003)'의 5분의 1 수준 가격으로 제공되며, 효율적인 컴퓨팅자원 활용으로 속도도 개선됐다. 한국어 처리에 대해 영어 위주 AI모델들보다 앞섰던 효율성·사용성을 한층 강화했다는 게 회사의 설명이다. 앞으로 보다 정교한 작업을 위한 모델, 이미지·오디오도 처리 가능한 모델도 순차적으로 선보일 계획이다.
최근 삼성SDS가 생성형AI 주제로 개최한 '유통·리테일 혁신 세미나'에서 김긍환 삼성SDS 전자컨설팅그룹장은 "실제 생성형AI를 쓰고 있는 기업들을 살펴보면 토큰당 이용료와 인프라 등 비용에 더욱 신경 쓰는 모습을 보인다. 처음엔 연간 수천만원 정도로 생각했다가 이용이 늘면서 수십억원까지 추산되기도 한다"며 "앞으로 이에 대한 통합적인 최적화·효율화 역량이 더욱 중요해질 것"이라고 밝혔다.팽동현기자 dhp@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
