퀄컴, 메타와 스마트폰서 라마2 LLM 구현 `맞손`

퀄컴 테크날러지는 메타와 '라마2' 대형 언어 모델(LLM)을 온디바이스에서 실행할 수 있도록 최적화할 예정이라고 19일 밝혔다.

라마2와 같은 생성형 AI(인공지능) 모델을 스마트폰, PC, VR·AR 헤드셋, 차량 등의 온디바이스에서 실행해 개발자들은 클라우드 비용을 절감할 수 있다.

또 퀄컴의 고객과 파트너, 개발자들은 지능형 가상 비서 및 생산성 애플리케이션, 콘텐츠 제작 도구, 엔터테인먼트 등의 사용 사례를 구축할 수 있다. 스냅드래곤으로 구동되는 새 온디바이스 AI 경험은 인터넷 연결이 없는 곳에서나 비행기 모드에서도 사용 가능하다.

퀄컴은 내년부터 스냅드래곤 기반 단말기에 라마 2 기반 AI 구현이 가능하도록 지원할 예정이다. 개발자들은 퀄컴 AI 스택을 활용해 온디바이스 AI 애플리케이션을 최적화할 수 있다. 퀄컴 AI 스택은 스냅드래곤에서 AI를 더 효율적으로 처리해 얇고 가벼운 소형 기기에서도 온디바이스 AI 구현을 가능하게 하는 전용 도구 모음이다.

두르가 말라디 퀄컴 테크날러지 수석 부사장은 "생성형 AI의 효과적인 대중화를 위해서는 클라우드뿐만 아니라 스마트폰, 노트북, 차량, IoT 등과 같은 엣지 디바이스에서도 AI를 작동할 수 있어야 한다"고 말했다.김나인기자 silkni@dt.co.kr