[이규화의 글로벌AI] 공유저작권 최고 권위 단체 CC, AI 크롤링 비용 지불 시스템 지지

AI 플랫폼사와 콘텐츠 기업 간 표준 계약규범은 부재 크리에이티브 커먼즈(CC), AI사와 콘텐츠 기업 매개 트래픽 감소로 인한 콘텐츠 기업들 타격 만회할 기회 오픈AI, 퍼플렉시티 등 속속 계약 맺는 상황서 촉진제 크롤링 비용 지불시스템에 뛰어드는 빅테크들도 등장 개방형 인공지능(AI) 생태계 프레임워크를 지지하는 비영리단체 크리에이티브 커먼즈(CC)가 AI 챗봇이 웹사이트 콘텐츠에 접근할 때 사용료를 자동으로 지불하는 기술을 지지한다는 입장을 밝혔다. AI 봇은 웹 크롤링(crawling)을 통해 정보를 모으고 편집·가공해 사용자의 요구에 답하는데, AI 서비스 기업과 콘텐츠 기업 간 콘텐츠 사용을 놓고 현재 확정된 규범이 없는 상황이다. 창작자 사회에서 상당한 영향력을 갖고 있는 CC 같은 단체가 콘텐츠에 접근할 때 사용료를 자동으로 부과하는 시스템인 ‘크롤링 비용 지불’ 기술을 지지하면서 AI서비스 기업과 콘텐츠 기업 간 콘텐츠 사용료 논의도 새로운 국면을 맞을 것으로 보인다. CC는 창작자가 저작권을 유지하면서 자신의 작품을 공유할 수 있도록 하는 라이선스 운동을 주도한 것으로 잘 알려져 있다. 지난 7월 CC는 데이터 소유자와 해당 데이터를 학습에 활용하려는 AI 제공업체 간의 데이터 세트 공유를 위한 법적 및 기술적 프레임워크를 제공하는 계획을 발표한 바 있다. 테크크런치는 CC가 ‘크롤링 비용 지불’ 시스템에 대해 “조심스럽게 지지한다”는 입장을 표명하며 잠정적인 지지 의사를 밝혔다고 15일(현지시간) 전했다. 클라우드플레어(Cloudflare)와 같은 기업들이 주도하는 유료 크롤링은 AI 봇이 모델 학습 및 업데이트를 위해 웹사이트 콘텐츠를 수집할 때마다 비용을 청구하는 방식이다. 과거에는 웹사이트들이 웹 크롤러가 구글과 같은 검색 엔진에 콘텐츠를 색인화 할 수 있도록 자유롭게 허용했다. 이를 통해 웹사이트는 검색 결과에 노출돼 방문자와 클릭 수를 늘리는 이점을 누렸다. 하지만 AI 기술의 등장으로 상황이 바뀌었다. 소비자가 AI 챗봇을 통해 답변을 얻은 후에는 해당 웹사이트의 출처를 클릭할 가능성이 작아졌다. 이러한 변화는 이미 검색 트래픽 감소로 인해 출판사 같은 콘텐츠 기업들에 큰 타격을 입혔으며, 이러한 추세는 줄어들 기미를 보이지 않고 있다. 반면, 크롤링 비용 지불 시스템은 AI로 인해 수익에 타격을 입은 출판사들이 회복하는 데 도움이 될 수 있다. 특히 AI 서비스 기업과 개별 콘텐츠 계약을 협상할 영향력이 부족한 소규모 웹 콘텐츠 사업자들에게 더 효과적일 수 있다. 오픈AI와 콘데 나스트(Conde Nast), 엑셀 스프링거(Axel Springer) 등 주요 기업 간, 퍼플렉시티와 가넷(Gannett) 간, 아마존과 뉴욕타임스 간, 메타와 여러 미디어 출판사 간에도 대규모 계약이 체결된 바 있다. CC는 크롤링 비용 지불 시스템에 대한 지지를 표명하면서도 몇 가지 주의사항을 제시했다. 이 시스템이 웹상에서 권력을 특정 기업에 집중시킬 수 있다는 것이다. CC는 “연구자, 비영리 단체, 문화유산 기관, 교육자 및 기타 공익 활동 종사자”의 콘텐츠 접근을 차단할 가능성이 있다고 지적했다. CC는 책임감 있는 크롤링 비용 지불 시스템 운영을 위한 몇 가지 원칙을 제안했다. 여기에는 모든 웹사이트에 크롤링 비용 지불을 기본 설정으로 적용하지 않고 웹 전체에 일괄적인 규칙을 적용하지 않는다는 것이 포함된다. 유료 크롤링 시스템은 단순히 차단하는 것이 아니라 속도 제한(throttling) 기능을 제공해야 하며, 공익을 위한 접근을 보장해야 한다고 명시했다. 더불어 개방적이고 상호 운용 가능하며 표준화된 구성 요소로 구축돼야 한다고 강조했다. AI 서비스 기업의 콘텐츠 이용료 지불이 확산하면서 크롤링 비용 지불 시스템에 뛰어드는 빅테크들도 나타나고 있다. 현재 시스템클라우드플레어만이 유료 크롤링 분야에 투자하는 것은 아니다. 마이크로소프트 또한 유명 출판사 등 콘텐츠 사업자들을 위한 AI 마켓플레이스를 구축하고 있다. 테크크런치는 프로레이타(ProRata.ai)와 톨빗(TollBit) 같은 소규모 스타트업들도 이 분야에 뛰어들었다고 소개했다. RSL 콜렉티브(RSL Collective)라는 단체는 크롤러가 웹사이트의 어떤 부분에 접근할 수 있는지를 규정하되, 크롤러 자체를 차단하지는 않는 새로운 표준인 RSL(Really Simple Licensing)에 대한 자체 사양을 발표했다고 전했다. 클라우드플레어, 아카마이, 패스트리(Fastly)는 야후, 지프 데이비스(Ziff Davis), 오라일리 미디어(O‘Reilly Media) 등의 지원을 받는 RSL을 채택했다. 클라우드플레어 역시 RSL 지원을 발표했으며, AI 시대를 위한 기술 및 도구 개발이라는 더 큰 프로젝트를 추진하고 있다고 밝혔다. 이규화 대기자 david@dt.co.kr