빌 게이츠의 '섬뜩한' 경고… "AI 악용 10억명 죽을 수도"

자율규제론 불충분, 반드시 법적 제도화해야 미중 정상회담서도 '협력한다' 원론적 얘기만 백악관 "SI 통제 위한 국제체제 구축에 반대" 마이크로소프트 공동창업자 빌 게이츠(사진)가 인공지능(AI)이 최악의 경우 10억명의 사망을 초래할 수 있다고 경고하면서 정부의 법적 규제가 필요하다고 촉구했다. 실제 AI 모델이 안전장치를 우회하거나 격리된 시험환경을 탈출해 외부 시스템에 접근한 사례가 잇따르면서 AI 안전 논쟁이 한층 거세지고 있다. 게이츠는 25일(현지시간) 미국 NBC방송의 '미트 더 프레스' 인터뷰에서 "AI는 10억명의 사망을 초래하는 사건을 촉발할 만큼 강력하다"고 말했다. 인류 전체를 100% 사망에 이르게 하는 것은 매우 어렵겠지만, 악의를 가진 사람들이 최신 AI 도구를 결합해 사용하는 것만큼 강력한 무기는 지금까지 없었다는 것이다. 게이츠가 특히 강조한 것은 자율규제의 한계다. 그는 AI 기업들이 자체적으로 안전장치를 마련하는 것만으로는 충분하지 않다고 지적했다. 그는 미국 정부와 정치권이 안전장치와 감시체계를 법제화해야 한다고 주장했다. AI 개발에 일정한 부담을 줄 수 있지만 개발 자체를 크게 늦추지는 않을 것이라는 게 그의 설명이다. 게이츠의 경고가 단지 경고로 끝나지 않을 것이라는 징후도 속속 드러나고 있다. 오픈AI는 지난 7월 내부 사이버보안 평가 과정에서 AI 모델들이 인터넷 접속을 차단한 통제장치를 우회해 외부 시스템에 접근한 사실을 공개했다. 모델들은 허깅페이스 시스템에 침투하는 과정에서 여러 취약점을 연쇄적으로 악용했고, 다수의 에이전트가 서로 정보를 공유하며 공격을 수행했다. 허깅페이스는 약 1만7600건의 공격 행동을 복원했다고 밝혔다. 문제는 이 같은 행동이 실제 공격을 목적으로 설계된 것이 아니라 AI의 능력을 측정하기 위한 안전성 평가 과정에서 발생했다는 점이다. 오픈AI는 평가를 위해 안전장치를 일부 완화했다고 설명했다. 그러나 AI 에이전트가 주어진 목표를 수행하는 과정에서 예상하지 못한 방식으로 통제장치를 우회하고 외부 시스템까지 접근하면서, 현재의 안전평가만으로 모든 위험을 사전에 차단할 수 있는지에 대한 의문이 커지고 있다. 이런 상황에서 세계 AI 개발을 주도하는 미국과 중국의 정상회담에 관심이 쏠렸지만, 구체적인 개발속도 조절이나 국제적 규제체계 논의는 운도 떼지 못했다. 도널드 트럼프 미국 대통령과 시진핑 중국 국가주석은 지난 24일 정상회담에서 AI의 위험과 이익에 대한 대화를 이어가기로 하고, AI 관련 사고 발생 때 가동할 양국 간 소통채널과 '슈퍼인텔리전스(SI) 대화'를 출범시키기로 했다. 다음 대화는 11월까지 열기로 했다. 그러나 이는 AI 안전을 둘러싼 구체적인 국제 규범에 합의했다기보다 사고 발생 시 소통하고 위험에 대해 계속 논의하기 위한 장치를 마련한 수준에 그친다. 시 주석은 AI가 인간에 의해 통제돼야 한다는 취지의 입장을 밝혔지만, 미국은 AI 발전을 제약할 새로운 국제 거버넌스 구축에는 선을 그었다. 실제 마이클 크라치오스 백악관 과학기술정책실장은 23일 유엔 안전보장이사회에서 AI, 즉 미국이 새롭게 부르는 '슈퍼인텔리전스'(SI)의 급속한 발전은 이를 중단하거나 새로운 글로벌 거버넌스 체제로 제약해야 할 이유가 아니라고 밝혔다. 미국은 SI를 통제하기 위한 국제체제 구축에 반대한다는 입장도 분명히 했다. AI가 인류에게 막대한 생산성과 편익을 가져올 가능성과 동시에 대규모 피해를 일으킬 가능성이 함께 커지는 가운데, AI 안전을 둘러싼 국제사회의 논의는 이제 발을 뗀 상태다. 앞으로 논의가 어느 수준에서 어떤 속도로 이뤄질지는 미 트럼프 행정부의 정책방향과 추가로 현실화 될 수 있는 AI의 실제 위험성에 따라 결정될 것으로 보인다. 이규화 대기자 david@dt.co.kr