dav2dプロジェクトサイトがAIスクレイピング対策を導入
原題: Dav2d
なぜ重要か
オープンソースプロジェクトがAI企業のスクレイピングから自衛する新たな対策事例として注目される
VideoLANが開発するAV1デコーダーdav2dのプロジェクトサイトが、AIによる大規模スクレイピングからサーバーを保護するためAnubisというシステムを導入した。同システムはHashcashのプルーフオブワーク方式を採用している。
VideoLANが開発するオープンソースAV1デコーダーdav2dのプロジェクトサイトにおいて、AI企業による積極的なウェブスクレイピング対策としてAnubis保護システムが導入された。管理者によると、AI企業の大規模スクレイピングがサーバーダウンタイムを引き起こし、すべてのユーザーがリソースにアクセスできない状況を生み出しているという。Anubisはメールスパム削減のために提案されたHashcashのプルーフオブワーク方式を採用している。個人レベルでは負荷は無視できるが、大規模スクレイパーレベルでは負荷が蓄積され、スクレイピングコストを大幅に増加させる仕組みだ。同システムは暫定的な解決策とされており、今後はフォントレンダリングなどを通じたヘッドレスブラウザの識別技術開発により、正当なユーザーにはチャレンジページを表示しない方向を目指している。現在JShelterなどのプラグインは無効にする必要があり、JavaScriptなしの解決策も開発中とされている。