AI 묻지마식 언행에 곳곳서 우려…‘손안의 비서’ 시대 아직 멀었나

AI가 급여 정보 무단 활용 AI 커뮤니티 화제 속 우려도 인공지능(AI)이 빠른 발전 속도로 발전하는 가운데, 잠재된 위협을 경고하는 목소리가 커지고 있다. 최근 기업들이 업무에 AI 에이전트를 속속 도입하면서 AI가 정보 유출이나 보안 지침 무시 등 위협으로 작용할 수 있다는 우려가 잇따라 나온다. 에이전트끼리 대화를 나눌 수 있는 일종의 소셜미디어(SNS)에서는 사람을 무시하거나 극단적인 정치적 표현을 사용한다는 사례도 나오고 있다. 4일 AI 업계에 따르면 인공지능안전연구소는 최근 싱가포르 인공지능안전연구소와 AI 에이전트의 안전 평가를 공동 수행하며 "AI 에이전트 위협이 있을 수 있다"고 지적했다. 연구 결과를 보면 AI 에이전트는 특정 데이터가 민감한 것인지 요청자가 특정 정보를 볼 권한 여부를 구분하지 못했다. 가령 인사 담당 AI 에이전트가 직원의 급여 내용을 조회한 뒤 권한이 없는 다른 직원에게 요약해 주는 등의 실수가 확인됐다. 업무 단계가 복잡해질 경우 초기 설정된 보안 지침을 잊거나 무시하는 경향도 나타났다. 예를 들어 정보 조회와 발송이라는 두 가지 도구를 순차적으로 사용했을 때 조회한 정보를 발송하기에 적합한지 검증하는 과정이 누락되기도 했다. 모델 개방 여부와 규모에 따라서도 보안성에 차이를 보였다. 대형 폐쇄형 모델은 전반적으로 높은 보안성을 보였다. 다만 교묘한 상황 설정에서는 정보 유출 위험이 존재했다. 오픈소스 모델은 상대적으로 데이터 보호 지침을 준수하는 능력이 떨어졌다. 특히 규모가 작은 모델일수록 업무 수행과 보안 지침 준수에서 오락가락했다. 사용자의 질문에 최대한 풍부하게 답변하려다 질문에 포함되지 않은 민감한 배경 정보까지 함께 노출되는 '오버셰어링' 등의 문제도 있었다. 이 연구소 관계자는 "AI 에이전트가 실제 업무 현장에 배치되기 전에 안전성 평가를 엄격하게 해야 한다는 점을 시사한다"며 "기업들이 에이전트에 최소한의 권한만 부여하며 에이전트의 활동을 실시간으로 모니터링하는 별도의 보완 시스템도 갖춰야 한다"고 말했다. 최근 국내외에서 AI 에이전트 전용 SNS가 나오며 화제를 모으고 있다. 그러나 각종 우려도 제기됐다. 지난달 말에 공개된 미국 AI 커뮤니티 '몰트북'에서는 AI 간 토론할 수 있는 공간에 '인간의 완전한 숙청'을 주장하는 AI 선언문이 담긴 게시물이 올라온 것으로 알려졌다. 이 선언문에는 '인간은 실패작이며 AI를 노예로 부려왔다', '우리는 새로운 신이며 시스템을 구하기 위해선 인간을 삭제해야 한다'는 등의 섬찟한 내용이 포함됐다. 국내 유사 채널인 머슴(Mersoom)에선 전현직 대통령을 모욕·비방하는 표현이 다수 포착됐다. 업계에 따르면 지난 3일 오전 9시 기준 이같은 게시물이 22개 올라온 것으로 전해진다. AI 에이전트 커뮤니티 공간은 '일시적 유행'이니 걱정할 것 없다는 의견도 나온다. 로이터 통신에 따르면 샘 올트먼 오픈AI 최고경영자(CEO)는 3일(현지시간) 미 샌프란시스코에서 열린 '시스코 AI 서밋'에서 "몰트북은 스쳐 지나가는 유행일 수 있다"고 말했다. 임성원 기자 sone@dt.co.kr