Cloudflare、AI트래픽 제어 옵션 신규 제공
원제: Cloudflare's new AI traffic options for customers
왜 중요한가
AI 크롤러에 의한 무단 콘텐츠 수집이 사회적 문제로 부상하는 가운데, 콘텐츠 소유자가 직접 AI 트래픽을 제어할 수 있는 인프라 차원의 솔루션이 업계 표준으로 자리잡을 가능성이 높다.
Cloudflare는 모든 고객을 대상으로 AI 봇 및 크롤러의 트래픽을 세부적으로 제어할 수 있는 신규 옵션을 발표했다. 사이트 소유자가 AI 봇 접근 허용·차단·조건 설정을 직접 선택할 수 있으며, Bot Management 및 Crawler Hints 기능과 연동된다.
Cloudflare는 공식 블로그 'Content Independence Day' 시리즈를 통해, 전체 고객이 자사 웹사이트에 접근하는 AI 봇 및 자동화 크롤러 트래픽을 직접 제어할 수 있는 새로운 옵션을 제공한다고 발표했다.
이번 발표의 핵심은 'Your site, your rules(내 사이트, 내 규칙)'라는 원칙 아래, 사이트 운영자가 AI 봇의 콘텐츠 수집 여부를 스스로 결정할 수 있도록 한다는 점이다. 구체적으로는 AI 학습 목적의 크롤러 차단, 특정 봇 허용, 조건부 접근 설정 등이 가능하다.
이 기능은 Cloudflare의 기존 Bot Management 및 Crawler Hints 인프라와 통합되어 제공된다. Bot Management는 자동화 트래픽을 탐지·분류하는 기능이며, Crawler Hints는 크롤러에 콘텐츠 갱신 정보를 효율적으로 전달하는 프로토콜이다.
Cloudflare는 인터넷 트래픽의 상당 부분이 AI 관련 봇으로부터 발생하고 있으며, 콘텐츠 생산자 보호와 AI 생태계 간의 균형이 중요한 과제로 떠오르고 있다고 배경을 설명했다. 이번 옵션은 무료 플랜을 포함한 전체 고객에게 제공된다.