신동희 중앙대 교수 미디어커뮤니케이션
![[포럼] `흑인을 고릴라로 인식한 AI` 신뢰 높이려면](http://contents.dt.co.kr/images/201810/2018102402102269640001[1].jpg "[포럼] `흑인을 고릴라로 인식한 AI` 신뢰 높이려면")
그런데 인공지능을 통한 알고리즘이 항상 편리하고 그럴듯한 결과를 추천하는 것은 아니다. 예를 들어 최근 이슈가 되는 신용등급, 기사의 배열, 추천결과 등에서 과연 어떠한 과정과 방식으로 결과가 나왔는가 알기는 현실적으로 어렵다. 현실의 복잡다기한 사항을 과도하게 단순화된 추상적 수학모형으로써 등급이 결정되고 그런 결정은 때로 의도치 않은 결과를 가져올 수도 있다. 신용평가 알고리즘이 누군가에게 부당하게 대출을 금지할 경우나 공정하지 않은 대학 평가 서열은 부정적 결과를 초래할 수 있다. 평가를 받는 을의 입장이 있는 사람들이 갑의 입장에 있는 회사들에게 항의하고 구체적 정보의 공개를 요청하기는 어려울 뿐 만 아니라 그러한 요청을 순순히 국내회사가 받을 줄 리 또한 만무하다.
알고리즘이 만연해지지만 과연 그런 알고리즘이 정확히 사용자의 기호를 반영하고 있는지, 결과가 공정한 것인지, 어떤 데이터와 어떤 분석과정을 통해 그런 추천결정이 나왔는지에 대한 본질적 질문에는 맹점이 있다. 왜곡된 정보로 설계된 알고리즘은 특정그룹을 소외시키고 불이익을 주는 악순환이 지속될 수 도 있다. 대부분의 머신러닝 기술은 알고리즘의 복잡성으로 인해 블랙박스라 불리며 도출한 결과의 근거, 도출과정의 타당성 등을 제공하지 못하고 있다. 따라서 인공지능에 있어 의사결정에 대한 투명성을 요구할 권리, 비편향성, AI 시스템개발에서의 책임성 확보 등을 요구할 권리 등이 중요한 이슈로 부각되고 있다.
사용자가 인공지능 시스템의 결과를 이해하고 설명할 수 있도록 정보를 제공하는 설명 가능한 인공지능(eXplainable AI; XAI)이 부상하고 있다. 가장 사용하기 간편하고 편한 기술이 가장 좋은 기술인 것처럼 사람이 이해하기 쉽고 설명가능한 코드로 되어 있는 알고리즘이 가장 바람직한 알고리즘일 것이다. 결과만이 중요했던 예전의 인공지능은 시스템이 어떻게 결과를 도출했는가를 설명할 필요가 없었다.
최근에는 인공지능이 다양한 분야에 전방위적으로 적용되면서 설명가능한 인공지능이 떠오르고 있다. 예를 들어 인공지능이 자동차 이미지를 분류할 경우 기존 시스템은 입력된 이미지의 자동차 여부만을 보여주지만 설명가능한 알고리즘은 자동차 여부를 도출하게 된 근거 (바퀴수, 유선형 형태, 헤드라이트 등)와 경위 (그 간 몇 년간의 유사 자동차 데이터를 수집하여 학습되었는지)까지 사용자에게 제공한다. 얼마 전 사진 형상을 자동 인식해 관련 태그를 붙여주는 구글 포토 서비스가 흑인사진을 고릴라로 인식해 태그를 자동으로 붙이는 일이 있었다. 피해자는 구글에게 항의했고 구글은 피해자에게 이러한 상활이 발생하게된 기술적 오류과정을 상세히 설명하고 곧바로 자동 인식 오류를 바로잡는 패치를 통해 문제를 해결했다. 사용자에게 모든 과정을 공개하고 새로운 코드를 개발하는 동안 사용자에게 수시로 전개 상황을 설명하고 과정을 공유했다. 이 사례는 사용자의 설명을 요구할 권리(Right to Explanation)와 구글의 설명가능한 알고리즘의 예를 보여준다.
앞으로는 설명 가능한 인공지능이 보편화될 것으로 전망된다.
개개인의 권리가 침해된 사안에 대해 당당히 오류를 시정 요구할 수 있는 통로와 절차가 확보돼야 한다. 알고리즘 회사가 일개 사용자의 요청에 귀기울이고 블랙박스를 공개하는 그런 투명한 사회적 분위기가 확립돼야 한다. 인공지능이 내놓는 결과에 대해 사용자는 그것이 언제, 어떻게 적용되는지, 누가 어떤 데이터로 어떻게 훈련시켰는지 투명해야만 한다. 유럽에서는 알고리즘이 내린 결정이 어떻게 도출됐는지 기업이 설명해야만 할 의무를 규정하고 있다. 알고리즘내에서 어떤 근거로 결론이 도출되는지 이해가 될 때 시스템을 신뢰하게 된다. 설명가능한 알고리즘은 댜양한 분야의 인공지능 시스템이 사용자로부터 신뢰를 얻고 사회적 수용을 위한 공감대를 넓힐 수 있는 길이다.
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
