Cloudflare, AI 기업에 출판사 콘텐츠 대가 지급 강제
원제: Cloudflare’s new policy pushes AI companies to pay for publishers’ content
왜 중요한가
AI 모델 학습을 위한 대규모 데이터 수집 비용 구조 변화의 시작점으로, 출판사 보호와 AI 기업의 비용 부담 사이의 균형을 재설정하는 업계 전환점이 될 것으로 예상된다.
Cloudflare가 9월 15일부터 광고가 있는 웹페이지에서 검색·AI 학습을 혼합한 크롤러를 기본적으로 차단하기로 결정했다. 이는 AI 기업이 출판사 콘텐츠 사용 시 대가를 지급하도록 유도하는 정책으로, 웹트래픽의 대부분이 봇이 된 시대에 지속 가능한 생태계 조성을 목표로 한다.
Cloudflare는 7월 1일 AI 산업에 새로운 기한을 제시했다. 9월 15일부터 기본 설정으로 '혼합용도' 크롤러(검색, AI 에이전트, 학습용으로 함께 사용되는 크롤러)가 광고를 포함한 페이지에서 차단되도록 변경된다. 이 정책은 신규 Cloudflare 고객, 기존 고객의 신규 사이트, 그리고 모든 무료 사용자에게 적용된다.
Cloudflare 공동 설립자이자 CEO인 Matthew Prince는 "인터넷 트래픽의 대부분이 이제 비인간(봇)이 된 시대에 더 빠르게 행동해야 지속 가능한 생태계가 나타날 수 있다"고 밝혔다. 실제로 봇 트래픽이 인간 트래픽을 처음 초과한 이정표에 도달했다.
이 정책의 배경에는 웹사이트 소유자의 이중 고민이 있다. 그들은 검색 엔진과 AI 서비스를 통한 콘텐츠 발견을 원하지만, 지적재산이 무료로 제공되는 것을 막고 싶어 한다. Cloudflare는 특히 Google이 '세계 최대 검색 엔진'으로서 다른 AI 기업보다 약 2배 많은 정보에 접근하고 있다고 지적했다.
Cloudflare는 이미 여러 도구를 출시했다. 'Pay Per Crawl' 마켓플레이스를 통해 웹사이트가 AI 봇에 크롤링 비용을 청구할 수 있게 했고, 현재 'Pay Per Use'로 진화시키고 있다. 이를 통해 출판사는 AI 기업이 자신의 콘텐츠를 사용할 때마다 대가를 받을 수 있게 된다.