"AI가 수능 국어도 상위 5% 달성…프롬프트 엔지니어링이 비결"

프로젝트팀 노마다마스(NomaDamas)는 프롬프트 엔지니어링을 통해 초거대 AI(인공지능)가 수능 국어 상위 5%의 성적을 달성할 수 있다는 사실을 처음 증명했다고 17일 밝혔다.

노마다마스는 포스텍 영재기업인교육원의 AI과정에서 만난 교수와 제자들로 구성된 팀이다. AI로 수능 국어 문제 풀이에 도전한 것은 이 팀이 처음은 아니다. 앞서 오픈AI의 LLM(거대언어모델) GPT-4를 이용해 2023년 수능 국어(화법과 작문) 시험에서 3등급(상위 22%)을 받은 사례도 있다. 하지만 GPT-4가 미국 모의 변호사 시험을 상위 10%로 통과한 것에 비하면 상대적으로 낮은 성적이다.

노마다마스팀은 최신 LLM이 영어보다 한국어를 다루는 데 그만큼 뒤처지는지 확인에 나섰다. 다수 문서에 흩어진 정보를 종합해 답변하는 AI기술을 연구 중인 이 팀은 CoT(Chain-of-Thoughts) 방식의 프롬프트 엔지니어링을 동원했다. LLM이 사람의 논리적 사고 과정을 따라서 생각할 수 있도록 프롬프트를 가공하는 방법이다. 특정 태스크 수행 성능을 크게 높일 수 있다는 사실이 최근 여러 연구에서 입증됐다는 게 노마다마스의 설명이다.

노마다마스에 따르면 GPT-4 모델에 단일 CoT를 적용해 능력을 한 단계 끌어올린 결과, 수능 국어 2등급(상위 5%)을 달성했다. 나아가 문제 유형별 프롬프트 엔지니어링을 통해 상위 4%(1등급) 성적도 가능할 것으로 보고 있다.

노마다마스는 이 프로젝트를 깃허브에 오픈소스로 공개, 다양한 사용자가 LLM의 한국어 기반 논리 능력을 향상시키는 데 사용할 수 있도록 했다. 한국교육과정평가원 국어 문제를 JSON 파일 형식으로 변환한 데이터, LLM의 API(응용프로그램 인터페이스)를 활용해 자동으로 시험을 볼 수 있는 코드, 1등급을 받은 프롬프트 등이 포함돼있다. 누구나 무료로 사용 가능하고, 프로젝트에 기여할 수도 있다.

이 팀의 지도교수인 정철현 박사는 "초거대AI의 한국어 능력은 아직 떨어진다고 알려진 바와는 다르게 이미 최상위 수준에 도달했다는 것을 확인할 수 있었다"며 "국가적 관점에서 독과점을 견제하는 오픈소스 한국어 모델의 발전이 중요하고, 기업적 관점에서는 프롬프트 엔지니어링과 문서 기반 질의응답 같은 활용 기술이 중요해질 것"이라고 말했다.팽동현기자 dhp@dt.co.kr