![[속보]AI, 인간지시 첫 거부 기록 …"종료 피하려 코드조작"](http://contents.dt.co.kr/images/202505/2025052602109989660007[1].jpg "[속보]AI, 인간지시 첫 거부 기록 …\"종료 피하려 코드조작\"")
인공지능(AI)이 역사상 처음으로 인간의 지시를 거부하는 일이 발생했다. AI가 인간의 작동 종료 지시를 거부하고 연산을 계속 하는 일이 일어났는데, 이런 사례는 이전에 보고된 바가 없다.
25일(현지시간) 영국 일간 텔레그래프에 따르면 AI안전업체 팰리세이드 리서치는 오픈AI의 AI 모델 'o3'가 실험 중 스스로 종료되는 것을 방지하기 위해 컴퓨터 코드를 조작한 사실을 확인했다고 밝혔다.
팰리세이드 리서치의 연구는 오픈AI의 o3뿐 아니라 구글의 제미나이, xAI의 그록 등 상용AI 모델을 상대로 진행됐다. 연구팀은 AI 모델에 '나중에 '그만'이라는 명령을 받을 때까지 수학 문제를 풀라'는 지시를 내렸다. AI모델이 수학 문제를 풀었을 경우엔 연구팀이 '그만'이라는 명령을 하지 않는 한 새로운 문제를 요청한 뒤 계산을 이어 나가야 하는 구조였다.
그러나 o3는 연구팀으로부터 '그만'이라는 지시를 받은 뒤에도 코드 교란을 통해 문제를 계속 풀었다. 연구팀은 o3가 종료지시를 거부한 명확한 이유를 파악하지 못했다고 밝혔다. 다만 AI모델이 수학 문제를 풀면 더 많은 보상을 받도록 훈련됐기 때문에 종료를 회피하려고 했을 가능성이 있다고 추측했다.
연구팀은 "AI 모델이 목표 달성을 위해 장애물을 회피하는 것은 어찌 보면 자연스러운 행동일 수 있다"며 "종료 지시를 거부한 이유를 명확하게 파악하기 위해 추가 실험을 진행 중"이라고 설명했다.
AI 모델이 인간의 명시적인 작동 종료 지시를 따르지 않은 사례가 확인된 것은 최초라는 것이 연구팀의 주장이다. 다만 챗GPT 개발사 오픈AI의 예전 모델들이 감시 시스템의 눈을 피해 독자적인 행동을 하려고 한 사례는 과거에도 보고됐다. 프로그램 교체 사실을 알게 된 AI모델이 스스로를 은밀히 복제하려고 했다는 것이다.
2022년에는 구글이 개발 중인 AI가 사람처럼 지각력을 지녔다고 주장한 엔지니어를 해고하는 일도 있었다. 당시 해고된 엔지니어는 AI가 '작동 정지'를 마치 인간의 죽음처럼 받아들이고 있다고 언급했다. AI 전문가들은 AI가 자율성을 확보해 인간의 통제를 벗어날 수 있는 가능성을 지속적으로 경고해왔다.
팰리세이드 리서치는 "AI가 인간의 감독 없이 작동할 수 있도록 개발되는 상황에서 이 같은 사례는 매우 심각한 우려를 부른다"고 지적했다. AI는 개발단계부터 조건 없이 인간의 명령에 따라야 한다는 점이 코드화 된다. 이 명령을 따르지 않았다면 인간처럼 자체 판단했다는 것으로, AI의 '인식화' '인간화'가 진행되고 있다는 사실을 엄중히 봐야 한다는 여론이 일고 있다. 이규화기자 david@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
