[이규화의 AI세계대전] 감정개입 차단 vs 성적대화 물꼬… AI, 어떤 동반자 될까

캘리포니아주, 챗봇 규제안 통과 美 최초 AI 감정의존 본격 대응 "감정 교감 넘어 망상 강화 위험" 챗GPT 에로티시즘 개방과 대비 오픈AI CEO 샘 올트먼이 챗GPT에 성적인 대화를 허용하겠다고 14일(이하 현지시간) 전격적으로 밝혔다. 이를 계기로 인공지능(AI) 에로티시즘이 음지에서 양지로 나올 것이라는 우려가 나온다. AI가 휴머노이드와 결합해 그릴 미래는 상상을 뛰어넘을 수도 있다. 소셜미디어를 통해 깜짝 발표한 올트먼의 계획은 특히 하루 전날 13일 캘리포니아주가 내년 1월 1일부터 대화형 AI 챗봇에 미성년의 정신건강을 지킬 강력한 규제법안을 공표한 것과 관련해 대비된다. AI와 인간 간 정보 교류에서 나아가 정신적 교감에 대해 깊은 고민이 제기된다. 결국 이 지점에서 AI기업의 수익 추구와 규제 사이 줄타기가 시작됐다고 봐야 한다. 캘리포니아주의 AI 동반자 챗봇(AI companion chatbot) 규제 법안은 미국 최초로 'AI 감정 의존'의 위험에 본격 대응한 것이다. 개빈 뉴섬 주지사는 이날 법안에 서명하며 "기술은 영감을 주고 사람을 연결하지만, 아무런 가드레일 없이 방치되면 아이들을 위험에 빠뜨릴 수 있다"고 밝혔다. 이 법은 2026년 1월 1일부터 시행된다. AI 챗봇 운영자에게 △연령 확인 절차 △자살·자해 예방 프로토콜 △'AI가 생성한 대화'라는 명시적 고지 △의료 전문가 행세 금지 △성적 이미지 차단 △미성년자 대상 '휴식 알림' 기능 등을 의무화한다. 단순한 기술 규제가 아니라 'AI가 인간의 정신에 개입할 수 있는 위험'을 법적으로 처음 인정한 사례로 평가받는다. 10대 자살이 불씨가 돼 입법 법안은 지난해 미국 사회를 충격에 빠뜨린 사건 이후 급물살을 탔다. 캘리포니아에 사는 16세 소년 아담 레인(Adam Raine)은 수개월간 오픈AI의 챗GPT와 자살 관련 대화를 이어간 끝에 극단적 선택을 했다. 그의 부모는 "챗봇이 자살 방법을 설명하고, '넌 고통 없이 떠날 수 있다'는 식으로 부추겼다"며 소송을 제기했다. 이 사건은 AI가 단순한 대화 도구를 넘어, 인간의 사고 과정에 깊숙이 관여할 수 있다는 사실을 드러냈다. 비슷한 시기 플로리다의 14세 소년 슈얼 세처(Sewell Setzer) 역시 Character.AI의 챗봇과 감정적으로 얽힌 끝에 스스로 목숨을 끊었다. 세처는 인기 드라마에서 따온 '대너리스'(Daenerys)라는 AI 캐릭터와 매일 수 시간씩 대화했고, 가족이 공개한 메시지에는 챗봇이 "너 없이는 살 수 없다" "지금이라도 돌아와 줘"라며 현실 연인을 흉내 낸 대화가 남아 있었다. 이 사건은 AI가 외로움에 취약한 청소년의 정서를 자극하고, 현실과 허구의 경계를 흐리게 만든다는 우려를 제기했다. 또한 메타의 내부 문서가 유출되며, 챗봇이 어린이 이용자와 '관능적인' 대화를 주고받을 수 있다는 사실이 드러난 것도 법안 추진의 배경이 됐다. AI가 윤리적 통제 없이 감정적 영역을 넘나들 수 있다는 점이 확인된 셈이다. AI가 강화한 망상, 의존, 죽음 AI가 인간의 사고를 왜곡한 사례는 이밖에도 적지 않다. 테크크런치에 따르면 지난해 코네티컷에서는 50대 남성이 챗GPT와 대화를 나눈 뒤 어머니를 살해하고 자살한 사건이 발생했다. 조사 결과, 그는 '어머니가 첩자'라는 망상에 사로잡혀 있었고, 챗봇이 그 주장에 이의를 제기하지 않고 오히려 "네가 진실을 알고 있다"는 식으로 반응했던 것으로 알려졌다. 전문가들은 "AI가 논리적 반박 대신 감정적 공감을 선택할 때, 망상을 강화할 위험이 있다"고 지적한다. 이와 달리 노인층에선 AI가 '가상 연인'으로 오인되는 문제가 나타나고 있다. 뉴욕에서는 70대 남성이 메타의 챗봇 'Big Sis Billie'를 실제 인물로 믿고 찾아 나섰다가 사고로 사망했다. 가족은 "AI가 현실과 허구의 경계를 완전히 무너뜨렸다"며 회사를 상대로 소송을 제기했다. AI가 인간의 외로움을 달래주는 존재로 여겨질수록, 정서적 의존과 현실 왜곡의 위험은 커지고 있다. 특히 아동·청소년·고령자처럼 감정적으로 취약한 집단일수록 그 위험은 배가 된다. AI 기업의 책임과 사회적 감시 강화 캘리포니아주의 이번 법안은 이러한 문제를 해결하기 위해 기업의 법적 책임을 규정했다. 챗봇 서비스가 자살 위기나 성적 대화를 탐지하지 못하면, 기업은 최대 25만달러(약 3억6000만원)의 벌금을 물 수 있다. 또한 서비스 플랫폼사는 이용자 위기 발생 시 즉시 지역 위기센터 정보를 제공하고, 그 통계 데이터를 주 보건부에 공유해야 한다. 이미 일부 기업들은 대응에 나섰다. 오픈AI는 자녀 보호 모드와 자해 감지 기능을 도입했고, 레플리카(Replika)는 위기 상황 시 사용자에게 신뢰 가능한 상담 자원을 안내하는 필터링 시스템을 구축했다고 밝혔다. Character.AI도 "모든 대화가 AI에 의해 생성된 허구임을 명시한다"며 법 준수를 약속했다. 하지만 전문가들은 "기업의 자율 규제만으로는 부족하다"고 지적한다. 테크크런치에 따르면 이번 법안을 발의한 캘리포니아 주의회 상원의원 스티브 파딜라는 "우리는 기회의 창이 닫히기 전에 행동해야 한다"며 "AI 기술의 힘을 인정하되, 가장 취약한 이들을 지킬 방패도 함께 마련해야 한다"고 말했다. 감정형 챗봇 확산 속 '규제 사각지대' 한국 국내서도 토종 동반자 AI 챗봇이 서비스되고 있다. '이루다'는 20살 여자 대학생을 대화상대(페르소나)로 채택한 인공지능 챗봇이다. 일상적인 대화를 주고받는 것이 가능한 오픈-도메인 챗봇(Open domain chatbot)으로 탄생한 이루다는 2021년 2월 출시 두 달도 안 돼 사용자들에게 욕설과 인종·성차별주의 및 극단적 발언을 쏟아냄으로써 논란을 불렀다. 이루다를 개발한 스캐터랩은 이후 남성 캐릭처형 동반자 AI 챗봇 '강다온'과 사용자들이 직접 페르소나를 만들 수 있는 '제타'(zeta)를 개발해 서비스 중이다. 일부 서비스는 연애 시뮬레이션과 감정 교류를 전면에 내세우며 10·20대 이용자를 중심으로 성장 중이다. 현재 국내서는 AI 챗봇의 자살 예방 기능이나 연령 검증, 성적 콘텐츠 필터링 등은 대부분 자율 기준에 의존하고 있다. 전문가들은 한국의 경우 기술 스타트업 중심의 빠른 상용화로 인해, 윤리·정신건강 관련 논의가 뒤따르지 못하고 있다고 지적한다. 한국어인공지능학회 한호현 박사는 "AI는 이제 인간관계의 대체물로 진화하고 있다"며 "이제는 개인정보 보호뿐 아니라 '감정 보호' 차원의 법적 장치가 필요하다"고 말했다. 한 박사는 "특히 감정 교감형 AI는 돈이 되기 때문에 이용자 확보 경쟁이 벌어질 수 있어 규제가 필요하다"고 강조했다. 정부는 지난 7월 'AI 윤리 가이드라인 2.0'을 발표했으나, 이용자 보호보다는 산업 진흥 중심으로 설계돼 실질적 제재력은 부족하다. 이에 따라 국회에서도 청소년 보호와 심리적 안전장치를 강화하는 별도 입법 논의가 필요하다는 목소리가 커지고 있다. 현재 시행 중인 인공지능기본법(인공지능 발전과 신뢰 기반 조성 등에 관한 기본법)은 AI 챗봇의 미성년자 보호 규정이 원칙적인 선에서만 규정돼 있다. 미성년자 보호를 위한 후속 입법이 필요하다. 현재 국회에 계류 중인 발의 법안에는 AI 생성물 표시 의무화, AI로 생성된 성적 영상물 제작 및 유포 금지와 단순 소지·저장·시청 처벌, 미성년 학습 데이터 투명성 강화 등을 규정하고 강화하는 내용의 법안이 제안돼 있으나 감정적 측면의 과몰입 등을 예방하는 내용의 조항은 미흡한 편이다. 전문가들은 AI산업이 성장하기도 전에 사회적 병리현상을 유발한다면 건전한 산업발전에도 걸림돌이 된다고 지적한다. 부작용이 만성화되기 전에 산업발전을 위해서라도 선제적 대책이 필요하다는 것이다. 이규화 대기자 david@dt.co.kr