헥사곤 탑재 '스냅드래곤' 자랑
개발사 등 정보유출 우려 해소
개발사 등 정보유출 우려 해소
![[車·폰·클라우드까지 뒤덮는 `생성형 AI`] 퀄컴 "사용자 단말 속 AI로 보안성·개인화 다 잡겠다"](http://contents.dt.co.kr/images/202309/2023092102109931081011[1].jpg "[車·폰·클라우드까지 뒤덮는 `생성형 AI`] 퀄컴 \"사용자 단말 속 AI로 보안성·개인화 다 잡겠다\"")
비네쉬 수쿠마 퀄컴테크날러지 AI·ML제품관리 총괄은 21일 열린 기자간담회에서 이같이 밝혔다. 주로 클라우드 기반 초거대AI를 통해 제공되는 생성형AI 서비스 방식을 스마트폰이나 웨어러블 기기 등 엣지단에서 온디바이스AI 방식으로 보완하겠다는 것이다.
수쿠마 총괄은 "경제적인 한계 때문에 생성형AI 확장이 쉽지 않다면 클라우드뿐 아니라 엣지에도 주목할 필요가 있다"며 "LLM(대규모언어모델) 개발·공급사나 CSP(클라우드서비스제공사)들이 사용자 정보를 임의로 활용할 우려가 없지 않은 것과 달리, 보안이 갖춰진 자신의 단말에서 생성형AI를 활용한다면 데이터가 빠져나갈 일도 없다"고 설명했다.
퀄컴은 생성형AI에서 구현하는 '맥락에 따른 개인화'에 대해, 스마트폰 내 달력 앱이나 건강관리 및 활동 관련 데이터를 바탕으로 답변하는 것을 예로 들었다. 입력 프롬프트 엔지니어링을 거쳐 더 나은 답변을 생성할 수 있다는 것이다.
그 기반에는 10여년 동안 투자한 AI엔진 '헥사곤'을 탑재한 '스냅드래곤' 프로세서가 있다. 퀄컴에 따르면 스냅드래곤8 2세대는 모바일과 PC 환경 모두에서 경쟁사들의 칩셋에 비해 전력효율과 피크성능이 모두 2배가량 우수하다는 벤치마크 성적을 냈다. 특히 모바일 전력효율에서 3배가량 앞서고, 서비스 품질로 이어지는 지연시간(레이턴시)도 가장 앞선 성능을 보이는 것으로 확인됐다. 퀄컴 AI스택을 바탕으로 각종 SW(소프트웨어) 기술로 최적화를 이뤄내고 폭넓은 호환성을 지원한다.
지난달 퀄컴은 메타와의 협력을 발표, 메타 LLM '라마2'를 기기 안에서 실행시킬 수 있도록 최적화하겠다고 발표한 바 있다. 연말까지 파라미터(매개변수) 10B(100억개) 모델까지 단말 내 구동을 지원한다는 계획이다. 물론 이 분야에서 파라미터 규모의 한계를 극복하긴 어려운 만큼, 온디바이스AI가 필요한 경우 클라우드로 데이터를 보내 초거대AI의 도움을 받아 처리하는 하이브리드AI로도 발전시킬 계획이다.
수쿠마 총괄은 "퀄컴은 생성형AI와 관련해 인퍼런스와 파인튜닝(미세조정)에 초점을 맞추고 있다"며 "퀄컴 AI스택의 장점은 한 번의 개발로 스마트폰부터 자동차 앱까지 추가 수정 없이 다양한 곳에 배포·적용할 수 있다는 것"이라고 강조했다.
글·사진=팽동현기자 dhp@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
