AIスクレイパー問題が悪化、住宅用プロキシが主因
原題: An update on residential proxies and the scraper situation
なぜ重要か
オープンWeb全体のインフラコストと持続可能性に直接影響するAIスクレイピング問題の現状を示し、対策技術や規制議論の重要性が高まっている。
LWN.netのJonathan Corbetが2026年7月10日、AIスクレイパーボットの被害状況を更新報告した。数百万のユニークIPアドレスから数時間以内に大量アクセスが行われ、主に住宅・モバイル回線の「リジデンシャルプロキシ」経由で攻撃が行われている。2025年初頭にGoogleがIPIDEAボットネットを摘発し一時的に被害が減少したが、その後再び悪化しているという。
LWN.netが2026年7月10日に公開した報告によると、AIモデルの学習データ収集を目的としたWebスクレイピングの問題は2025年の報告から1年以上が経過した現在も深刻化が続いている。
攻撃の特徴として、数時間の間に数百万件のユニークIPアドレスから各アドレスにつき2〜3回程度のアクセスが行われる。User-Agentなど攻撃者が制御できるデータはすべて偽装され、通常のブラウザユーザーを装う。ボットは画像やCSSを取得しないなどの識別方法は存在するが、判定された時点でそのIPアドレスはすでに使われなくなっているため、ブロックの効果は限定的だという。
このトラフィックの大半は住宅回線・モバイル回線を経由しており、中央のコマンド＆コントロールノードに指示された端末がWebページを取得し結果を転送する仕組みになっている。デバイスの所有者が知らないうちに利用されるケースが多く、こうした仕組みは「リジデンシャルプロキシ」と呼ばれる。
運営主体は大きく2種類に分けられる。一つは完全に犯罪的な組織で、マルウェアで乗っ取ったシステムを利用する。年初にGoogleがIPIDEAというボットネットを摘発・シャットダウンした結果、LWN.netでは一時的にスクレイパートラフィックの大幅な減少が確認されたが、その後また増加に転じている。また、ストリーミングメディアデバイスもマルウェアの感染経路として新たに特定されている。
もう一つは表向き合法性を主張する業者で、「倫理的に調達したIPアドレス」を提供するとうたっている。代表的な例として挙げられているBright Dataは、Webサイトのアクセス制御やトラフィック制限を回避する能力を積極的に宣伝しており、無料VPNサービスを提供する代わりにユーザーのデバイスをプロキシネットワークの一部として利用している。アプリ開発者向けにSDKを提供し、アプリに組み込む形で端末を加担させる業者も多数存在するという。