챗봇의 내부 지식관리 고도화해 서비스 품질 개선
품질관리 개념 새로 도입해 챗봇 답변 정확도 향상
품질관리 개념 새로 도입해 챗봇 답변 정확도 향상
이번 고도화를 통해 AI 챗봇의 답변 지식품질을 안정적으로 관리하는 체계를 마련하고, 답변 정확도를 높일 수 있는 신뢰성 검증 평가도구를 추가 도입했다.
특히 지식 품질개선을 위해 정답유사율, 엔진적합률, 체감정답률 등의 새로운 개념을 도입했다. 이를 통해 신한은행은 매일 3만 건 이상의 챗봇 상담이력을 전수 조사하는 한편, 고객의 챗봇 이용에 따른 정답유사율, 엔진적합률 등 확률 통계를 상시 모니터링할 수 있게 됐다.
이를 통해 현재 오로라는 사용자 질의에 따른 답변 응답률을 평균 97%로 유지하고 있다. 모호한 질문에는 질의 의도를 분석해 유사 답변을 제공하는 방식을 통해 95% 이상 정확도의 답변을 제시한다.
강용성 와이즈넛 대표는 "이번 고도화를 통해 보다 정교한 지식관리가 가능해지고 이를 통해 사용자 질의에 대한 응답률과 정확도를 높였다"면서 "AI 챗봇 서비스를 지속적으로 고도화해 금융 업무에 특화된 차세대 금융 어시스턴트를 구현하겠다"고 말했다.
안경애기자 naturean@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
