Cloudflare、AI企業に出版社コンテンツの対価支払いを促す新方針
原題: Cloudflare’s new policy pushes AI companies to pay for publishers’ content
なぜ重要か
AIモデル開発におけるコンテンツ利用の商業化と透明性の課題が重要化。検索とAI学習の分離要求は業界スタンダード化の可能性があり、出版社の権利保護とAI企業のトレーニングデータ確保のバランスを示唆する。
Cloudflareは2026年9月15日から、検索とAI学習を混合するウェブクローラーを、広告掲載サイトから既定でブロックする新方針を発表した。この変更は新規顧客、既存顧客の新規サイト、全無料ユーザーに適用される。同社はAI企業に検索クローラーとAI学習用クローラーの分離を求めている。
Cloudflareが発表した新方針では、検索目的とAIエージェント・学習目的の両方に使用される「混合用途クローラー」の取り扱いが変わる。9月15日以降、広告を掲載しているページについて、混合用途クローラーはCloudflareのデフォルト設定でブロックされることになる。サイト所有者が手動で設定を変更しない限り、これらのクローラーはアクセスできなくなる。
Cloudflareは、ウェブサイト所有者の大多数が検索やAIサービスを通じたコンテンツの発見を望みつつも、知的財産が無償提供されることへの保護を求めていると指摘する。同社はGoogleを暗に批判し、Googleが約「2倍多くの情報」にアクセスできているのは、顧客がGoogle検索で発見可能であり続けるためにはGoogleのクローラーを許可せざるを得ないからだと主張している。
Googleはこの指摘に対して、Google Extendedというボットの提供を通じて、サイト所有者がGeminiやVertex APIなどのAI製品への利用を除外しつつ、Google検索に含まれ続けることができると反論している。一方、GooglebotはSearch機能やAI Overviewsなどの検索結果内AI機能とともに動作する。
CloudflareのMatthew Prince共同創業者兼CEOは「インターネット上の大部分のトラフィックが非人間的なものになった今、持続可能なエコシステムが出現するために、より迅速に行動する必要がある」とコメントした。ボットが初めて人間のトラフィックを上回ったというマイルストーンは当初の予想より早く達成された。
Cloudflareは出版社向けに複数のコンテンツ管理ツールを提供している。「Pay Per Crawl」マーケットプレイスを通じてウェブサイトがAIボットのスクレイピングに料金を課すことができ、これは新たに「Pay Per Use」へと進化し、出版社がAI企業のコンテンツ利用に対して料金を設定できるようになる。