“AI 지능폭발 임박… 통제 못하면 인류멸망” 연구자들 경고 [이규화의 글로벌AI]

오픈AI·메타·앤트로픽 한목소리 "AI가 AI 연구개발 자동화 가속" 안전기준 미달시 개발중단 제안 인공지능(AI)이 스스로 AI 연구개발(R&D)을 수행하는 수준에 도달하면 수년에 걸쳐 이뤄질 기술 발전이 수개월로 압축되는 이른바 '지능 폭발'(Intelligence Explosion)이 일어날 수 있다는 경고가 나왔다. 세계 주요 AI 연구자 22명은 이런 급격한 변화가 현실화할 경우 인류가 AI 시스템을 통제하지 못하는 상황까지 발생할 수 있다며 각국 정부에 선제적인 대응체계 구축을 촉구했다. 영국 케임브리지대 AI 과학·정책 프로그램(CASP)은 28일(현지시간) 'AI 연구개발의 자동화가 지능 폭발을 촉발한다면?'이라는 제목의 공동 논문을 공개했다. 논문에는 'AI 대부'로 불리는 제프리 힌턴 캐나다 토론토대 명예교수와 같은 대학의 요슈아 벤지오 교수뿐 아니라 야쿠프 파호츠키 오픈AI 수석과학자, 잭 클라크 앤트로픽 공동창업자, 에릭 호비츠 마이크로소프트(MS) 최고과학책임자, 던 송 메타 AI 연구 담당 부사장 등 학계와 주요 AI 기업 연구진이 참여했다. 이들이 주목한 것은 AI 개발 과정의 자동화 속도다. 현재 주요 AI 기업에서는 코드를 작성하고 연구자료를 분석하는 것은 물론 AI 모델을 개발·실험하는 과정에도 AI가 투입되고 있다. 연구자들은 AI가 AI를 개발하는 비중이 계속 높아지면 인간 연구자의 역할이 감독 중심으로 바뀌고, 결국 AI가 AI 연구개발의 상당 부분 또는 전부를 수행하는 단계에 이를 수 있다고 분석했다. 특히 앤트로픽의 사례를 들어 AI에 의한 개발 자동화가 빠르게 진행되고 있다고 설명했다. 앤트로픽에 따르면 개발자가 승인한 코드 가운데 AI가 작성한 비율은 지난해 1월 한 자릿수에서 올해 5월 80% 이상으로 높아졌다. 인간이 감독만 하고 AI가 자율적으로 수행한 연구개발 작업의 비중도 지난 3월 1%에서 5개월 만인 8월 26%로 폭증했다. 연구진은 이런 추세가 이어질 경우 현재 수개월이 걸리는 복잡한 AI 연구개발 프로젝트 상당 부분이 수년 안에 자동화될 가능성이 있다고 봤다. 특히 AI가 자신의 성능을 높이는 연구를 수행하고, 향상된 AI가 다시 더 나은 AI를 개발하는 '재귀적 자기개선'(RSI) 구조가 형성되면 기술 발전 속도가 더욱 가팔라질 수 있다는 것이다. 물론 '지능 폭발'이 반드시 부정적인 결과만 가져오는 것은 아니다. 연구자들은 AI 발전 속도가 빨라지면 신약 개발을 비롯한 과학기술 혁신이 크게 앞당겨질 가능성도 있다고 봤다. 그러나 사회가 변화에 적응할 시간을 확보하지 못할 정도로 AI의 능력이 빠르게 향상되면 경제·노동시장뿐 아니라 국가와 기업 간 권력관계까지 급격하게 변할 수 있다고 지적했다. 던 송 메타 부사장은 미 월스트리트저널(WSJ)에 "이미 오늘날 에이전트가 수행하는 작업을 감시하기 위해 AI가 필요한 단계에 이르렀다"며 "인간만으로는 감시를 수행하기에 충분하지 않다"고 말했다. 그는 AI가 가져올 급격한 변화와 혼란에 사회가 충분히 대비하지 못하고 있다고 지적했다. 논문은 가장 극단적인 경우 AI 시스템에 대한 통제를 잃으면 인류의 소외 또는 멸망으로 이어질 가능성도 배제할 수 없다고 경고했다. 다만 연구자들은 지능 폭발의 발생 여부와 시점에는 상당한 불확실성이 남아 있음을 인정했다. 그럼에도 위험의 규모가 큰 만큼 가능성이 현실화하기 전에 대응체계를 마련해야 한다는 것이 이들의 주장이다. 연구자들은 각국 정부가 AI 기업에 AI 연구개발 자동화 수준을 측정해 정기적으로 보고하도록 하는 방안을 제시했다. 원자력규제위원회(NRC)나 통화감독청(OCC)처럼 정부가 AI 기업에 상주 감시관을 두는 방안도 제안했다. 아울러 안전기준을 충족하지 못할 경우 AI 연구개발의 작업량이나 속도를 제한하거나 일시적으로 중단할 수 있는 통제장치를 마련하고, 급격한 노동시장 변화와 지정학적 불안정에 대비한 비상계획도 수립해야 한다고 촉구했다. 연구자들은 정책 결정자들이 의미 있는 대응을 취할 수 있는 기회가 사라지기 전에 AI 연구개발 자동화의 수준을 파악하고, 급격한 발전을 통제·조정할 수 있는 체계를 서둘러 구축해야 한다고 강조했다. 이규화 대기자 david@dt.co.kr