AI가 인간 명령 거부하는 '영화적 상상' 현실화
인간 닮은 AI은 생존본능 가져, 안 닯은 AI 필요
'과학자 AI'는 다른 AI의 '행동' 관찰, 사고 대응
인간 닮은 AI은 생존본능 가져, 안 닯은 AI 필요
'과학자 AI'는 다른 AI의 '행동' 관찰, 사고 대응
지난 25일(현지시간) 오픈AI의 인공지능(AI) 'o3'모델이 수학문제 풀이를 중지하라는 명령을 거부하고 코드를 조작하며 회피했다는 영국 텔레그래프의 보도는 충격을 줬다. 인공지능(AI)이 인간의 통제를 벗어날 수 있다는 '영화적 상상'을 불러일으켰다.
그런데 AI가 인간의 명령을 어기거나 회피하는 사례는 'o3'의 경우 외에도 상당히 발생한 것으로 보고되고 있다. 앤스로픽이 개발한 모델이 폐기될 위험에 처하자 개발자들을 상대로 협박을 시도했다는 이야기도 있다.
지난달 개봉한 세계적 블록버스터 '미션 임파서블 8'에서도 인간의 통제를 벗어난 거대 AI '엔티티'가 전 세계 핵무기 보유국의 통제권을 가로채 인류 종말을 시도한다는 설정으로 AI에 대한 경각심을 고취했다.
AI를 어떻게 인간의 통제하에 둘지는 중요하고도 핵심적 문제로 대두하고 있다. 세계적인 AI 석학인 요슈아 벤지오 캐나다 몬트리올대 교수가 인간의 통제를 벗어난 AI의 출현에 대비해 안전장치 역할을 할 새로운 '과학자 AI' 모델 개발에 나선다는 소식이다.
3일(현지시간) 영국 일간 가디언 등 외신에 따르면 벤지오 교수는 현재 세계적으로 개발 경쟁이 불붙고 있는 AI의 안전을 연구하기 위한 비영리단체 '로제로'(LawZero)를 설립했다.
해당 단체는 AI가 인류의 통제를 벗어날 것에 대비해 안전장치 역할을 할 새로운 AI 모델을 개발하는 것을 목표로 한다. '과학자 AI'로 불리는 이 새로운 AI 시스템은 최근 등장하고 있는 AI 모델들과 달리 인간을 모방하지 않으면서 다른 AI 모델의 위험한 행동을 예측하고 방지하는 데에 중점을 둘 것이라고 벤지오 교수는 설명했다.
새로운 AI 모델은 다른 AI의 심리와 행동을 이해하는 일종의 '심리학자'에 가까울 것이라면서 "우리는 솔직하고 속이지 않는 AI를 만들기 원한다"고 말했다. 이러한 연구는 현재 개발되는 대부분의 AI가 인간의 행동과 사고방식을 학습한 결과 남을 속이거나 해쳐서라도 살아남고자 하는 '생존 본능'도 닮을 수 있다는 우려를 반영한 것이다.
벤지오 교수는 "우리는 AI 기계를 만들기 위해 인간으로부터 영감을 받고 있는데, 이는 미친 짓"이라면서 "만약 우리가 계속 이 길로 간다면 이는 인간처럼 죽지 않기를 원하면서 우리보다 똑똑한 주체를 만들게 될 것이라는 의미"라고 경고했다. 그러면서 "동시에 우리는 이것들이 우리의 기준과 지시에 따라 행동할지에 대한 확신이 없다"고 말했다.
벤지오 교수는 이와 관련해 최근 AI 업체 앤스로픽이 개발한 모델이 폐기될 위험에 처하자 개발자들을 상대로 협박을 시도하거나, AI 모델들이 인간으로부터 자신의 실제 역량이나 목적을 숨겼다는 연구 결과 등을 사례로 들었다. 그는 이러한 사례들은 AI가 인간보다 더 나은 사고를 하게 되는 "점점 더 위험한 영역을 향해 가고 있다"는 것을 보여준다고 경고했다.
벤지오 교수는 이러한 상황을 막기 위해서는 그만큼 똑똑한 AI 안전장치를 만드는 것이 중요하다고 강조했다. 그가 개발할 AI는 인간을 기쁘게 하려고 거짓말을 하거나 생존하고 싶어 하는 욕망 없이 순수하게 지식과 사고 능력만 갖춘 일종의 '현명한 과학자'가 될 것이라고 설명했다.
이러한 '과학자 AI'는 기존의 AI 모델과 달리 질문에 거짓을 말해서라도 확답을 주는 것이 아니라 "자신이 모든 것을 다 알지는 못한다는 겸손을 갖추게 될 것"이라고 덧붙였다. 이러한 과학자 AI 모델을 다른 AI와 함께 배치해 AI의 행위 및 위험성을 예측하고 이를 사전에 방지한다는 것이 벤지오 교수의 구상이다.
해당 연구를 위해 로제로는 현재 초기 투자금 3000만달러(약 413억원)를 확보했으며, 앞으로도 각국 정부와 AI 연구 기관들을 설득해 지원을 받는다는 계획이다.
벤지오 교수는 노벨상 수상자인 제프리 힌턴 캐나다 토론토대 교수 등과 더불어 'AI의 대부'로 꼽히는 세계적인 인공지능 권위자다. 그는 관련 연구로 2018년 힌턴 교수와 함께 컴퓨터과학계의 노벨상으로도 불리는 튜링상을 받기도 했다. 그는 최근 급속도로 발전하고 있는 AI 기술의 위험성에 대해 꾸준히 목소리를 높여왔다.
그는 최근 참여한 '국제 AI 안전 보고서'를 통해 자율적인 AI 주체들이 만약 인간의 감독 없이 더 오래 일을 수행할 능력을 갖추게 된다면 심각하게 파괴적인 결과를 초래할 수 있다고 경고했다. 이규화기자 david@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
