"요즘 출시되는 인공지능(AI) 에이전트는 모두 다 똑똑해 보입니다. 그런데 정작 현장에서 써보면 '말은 잘하는데 일을 못 한다'는 반응이 많습니다. 토큰 간 언어 패턴을 기반으로 그럴듯한 응답을 생성할 뿐 실질적인 문제 해결 능력을 보장하지는 않기 때문이죠. 현장에 필요한 것은 상황을 인식하고 스스로 판단해 실행에 옮길 수 있는 '능동성'입니다."
AI 데이터 및 소프트웨어 테스트 전문 기업 에이아이웍스의 이진석(사진) 연구개발(R&D) 센터장은 "AI 에이전트가 마치 모든 업무적 문제를 해결한 것처럼 보일 수는 있지만 이는 단순한 환각 현상(hallucination)일 수 있다"며 이같이 말했다. 이 센터장은 에이아이웍스에서 AI 솔루션 개발을 총괄하고 있다.
올해 생성형 AI 에이전트의 시대가 도래했다는 말이 나올 만큼 다양한 산업군에서 도입이 확산되고 있다. 챗GPT와 같은 챗봇은 정해진 시나리오 기반으로만 반응하고 동작하는 것에 반해 AI에이전트는 모델 학습에 필요한 최소한의 가이드만 주어지면 이를 기반으로 서비스를 위해서 해야하는 동작을 스스로 판단해서 수행하는 것이 특징이다. 시장조사업체 리서치앤마켓에 따르면 올해 글로벌 AI 에이전트 시장규모는 약 5억2900달러에서 2035년 2168억달러까지 연평균 약 40% 이상 성장할 것으로 전망된다.
특히 '내 업무를 어느 정도 대신할 수 있을 것'이라는 기대가 커지면서 기업들의 관심도 급속도로 높아졌다. 클라우데라(cloudera)의 '기업용 AI 에이전트의 미래' 보고서에 따르면 한국을 포함한 총 14개국의 IT 리더 약 1500명 중 96%는 향후 12개월 내 AI 에이전트 활용을 확대할 계획이라고 밝혔다.
하지만 실제 적용 단계에 들어가면 기대와 달리 성과가 나지 않는 경우도 적지 않다. 대답은 그럴듯하지만 정작 실무 해결이나 실행으로 이어지지 않는 일이 많기 때문이다. 이 센터장은 "생성형 AI 기술이 산업에 도입될 때 흔히 발생하는 가장 큰 오해는 기술에 대한 '과도한 기대'"라며 "AI의 성능은 기술 자체보다 얼마나 양질의 데이터를 기반으로 학습했느냐에 달려 있기 때문에 이런 오해를 줄이기 위해서는 문제를 철저히 정량적으로 분석하고 해당 문제에 최적화된 데이터세트를 구축해야 한다"고 강조했다.
이어 "고객은 항상 똑같이 질문하지 않고 상황도 매번 다르다"면서 "그런데도 시스템이 항상 같은 방식으로 답하면 곧 신뢰를 잃는다. 결국 AI가 스스로 문맥을 읽고 판단하고 상황에 맞게 적절한 실행을 해야 신뢰를 얻을 수 있다"고 설명했다.
이 센터장이 말하는 해법은 단순한 문장 생성 능력이 아니라 상황을 인식하고 반복 가능한 방식으로 실무를 완결짓는 기술이 필요하다는 것이다. 이 센터장은 "AI 에이전트는 복잡하고 비정형적인 상황에서도 스스로 판단하고 적응하며 업무를 수행할 수 있는 인지 기반 자동화 기술"이라며 "단순한 응답 생성보다 현장에서 실제로 작동하는 실행력이 중요하다"고 말했다.
'신뢰 가능한 AI'에 대한 사회적 요구가 커지는 것도 같은 맥락이다. AI 에이전트는 일반화된 지식을 바탕으로 자율적으로 판단하기 때문에 동일한 요청에도 실행 방식이 바뀌는 경우가 생기고 이는 실무 일관성에 혼란을 줄 수 있다. 더 큰 문제는 AI가 잘못된 판단을 내렸을 경우 그 책임은 시스템이 아닌 이를 도입한 기업이 떠안게 된다는 점이다.
이 센터장은 "AI 에이전트는 일반화된 지식을 바탕으로 판단하기 때문에 반복 가능한 방식으로 수행되도록 만드는 것이 중요하다"며 "이로 인해 현장에서의 신뢰성과 예측 가능성에 문제가 생길 수 있다"고 설명했다.
이에 신뢰성 문제 해결을 위한 방법으로 이 센터장은 기술적 장치는 프롬프트 설계 고도화와 가드레일(guardrail) 시스템을 함께 작용하는 것을 꼽았다. 명확하고 구체적인 프롬프트를 설계하면 AI가 판단과 실행을 반복 가능하고 예측 가능한 방식으로 수행할 수 있기 때문이다. 이 센터장은 "어디에서 문제가 발생했는지 알아야 고칠 수 있다"며 "이렇게 하면 유지보수 비용도 줄고 대응 속도도 빨라진다"고 설명했다.
결국 AI 에이전트의 성패는 도입 그 자체보다 도입 이후 실질적으로 현장에 맞게 조정하고 운영하는 과정에 달려 있다는 설명이다. 그는 "모델 성능보다 더 중요한 것은 데이터 품질과 실제 활용 구조"라며 "AI가 실제 비즈니스에서 의미 있는 결과를 내려면 기술 자체보다 사람과 업무 환경에 대한 이해가 더 중요하다. 결국 AI가 일을 하려면 학습한 내용을 맥락에 맞게 실행까지 옮길 수 있어야 한다"고 말했다.유진아기자 gnyu4@dt.co.kr
