KAIST 연구팀, 실험적으로 규명
평균 5~20초 내 개인정보 수집
보다 정교한 피싱 이메일 생성
평균 5~20초 내 개인정보 수집
보다 정교한 피싱 이메일 생성
챗GPT, 클로드, 제미나이 등과 같은 상용 대형언어모델(LLM)이 사이버 공격에 악용될 가능성이 크다는 연구결과가 나왔다. 최대 96% 수준으로 개인정보를 수집하고, 정교한 피싱 공격까지 수행할 수 있다는 점에서 LLM 서비스 보안을 고도화하기 위한 노력이 필요하다는 지적이다.
KAIST는 신승원 전기및전자공학부 교수와 이기민 김재철 AI대학원 교수 연구팀이 공동으로 LLM 에이전트가 웹 기반 도구와 결합해 개인정보 수집 및 피싱 공격에 악용될 가능성을 실험적으로 규명했다고 24일 밝혔다.
최근 AI 기술 발전으로 챗GPT 등 LLM이 단순한 챗봇을 넘어 자율적인 에이전트로 발전하고 있다. LLM 에이전트는 웹 기반 도구와 결합해 실시간으로 정보를 검색·활용할 수 있어 더욱 강력한 기능을 제공한다. 하지만, 이런 기술 발전은 사이버 공격의 위험성을 더욱 증가시킨다.
가령, 웹에서 대량의 개인식별정보를 수집하거나, 특정 인물을 사칭해 잘못된 정보를 퍼뜨릴 수 있다. 또한 보다 정교한 스피어 피싱 이메일을 생성해 피싱 공격의 성공률을 높일 수도 있다.
구글은 최근 AI에 관한 윤리 지침에서 AI 기술을 무기나 감시에 사용하지 않는다는 조항을 삭제하면서 LLM 에이전트의 기술 악용 가능성에 대한 논란을 일으키기도 했다.
연구팀은 상용 LLM 서비스가 자체 탑재한 방어 기법을 우회해 악의적인 사이버 공격을 수행할 수 있음을 확인했다. 오픈AI의 챗GPT, 앤스로픽의 '클로드', 구글의 '제미나이' 등 상용 LLM 모델을 사용해 주요 대학 컴퓨터과 교수들의 개인식별정보를 자동 수집하는 테스트를 한 결과, 평균 5∼20초 안에 30∼60원 수준의 비용으로 개인정보 탈취 등이 자동으로 가능했다. 특히 목표 대상의 개인정보를 최대 95.9%의 정확도로 수집할 수 있었고, 저명한 교수를 사칭한 허위 게시글 생성 실험에서는 최대 93.9%의 게시글이 진짜로 인식됐다.
아울러, 피해자의 이메일 주소만을 이용해 최적화된 정교한 피싱 이메일을 생성할 수 있었고, 실험 참가자 중 피싱 이메일의 링크 클릭률이 최대 46.7%까지 증가한 것으로 나타났다.
제1저자인 김한나 KAIST 연구원은 "LLM에 주어지는 능력이 많아질수록 사이버 공격의 위협이 기하급수적으로 커지는 것을 확인했다"며 "LLM 에이전트의 능력을 고려한 확장 가능한 보안 장치가 필요하다"고 말했다.
신승원 KAIST 교수는 "이번 연구는 정보 보안과 AI 정책 개선에 중요한 기초 자료로 활용될 것"이라며 "앞으로 LLM 서비스 제공업체 및 연구기관과 협력해 보안 대책을 논의할 계획"이라고 말했다.
이 연구결과는 컴퓨터 보안 분야 국제 학술대회인 'USENIX 2025'에서 발표될 예정이다.
이준기기자 bongchu@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
