HN投稿後にAIボットが殺到した体験談
原題: I posted to HN, and then my website was flooded with AI bot traffic
なぜ重要か
個人開発者レベルでもHNへの投稿だけでAIボットの標的になる実態を示しており、小規模サービスにとってrobots.txtとレートリミットの整備が現実的な課題となっている。
個人開発者のSammy Straus氏は、自身のフィードリーダーサービス「sprinklz.io」をHacker Newsに投稿し約100アップボートを獲得した直後から、Webサーバーに異常な負荷が発生したと報告した。調査の結果、トラフィックの約半数が単一のAI要約サービスによるものと判明。当該サービスはWebサイトの変更を検知するため、1分間に何度もリクエストを送り続けていた。
Sammy Straus氏がHacker Newsへの投稿後に体験したAIボット大量流入の顛末が、自身のブログで公開され注目を集めている。
氏が開発する「sprinklz.io」はLLM関連ニュースを優先度下げできるフィードリーダーで、HNへの投稿は順調に約100アップボートを獲得した。しかし数日後もサーバー負荷が下がらず、むしろ悪化。ログインユーザーは一握りにもかかわらず、サーバーは極端に重い状態が続いた。
原因を調べるため、Straus氏はエンドポイントごとにリクエスト数を記録するログを追加した。すると、大半のリクエストがシングルページアプリケーション（SPA）のJavaScriptすら実行せず、ニュース記事の取得も行っていないことが判明した。
次にNGINXのアクセスログを集計すると、トラフィックのほぼ半分が単一の送信元から来ていた。そのサービスを調べたところ、「Webサイトの変更を監視してAIニュースレターに要約する」と自称するサービスだったという。「変更の監視」とは要するに1分間に何度もリクエストを投げ続けることで、即座にブロック対応を行った。
ClaudeBot、OpenAI Bot、Googleの検索インデクサーなど、自身を正直に名乗る既知のクローラーも複数確認された。また、WordPressではない同サイトに対して「/wp-content/phpinfo.php」へのアクセスを試みる脆弱性スキャナーも検出された。
Straus氏はこれらを踏まえ、AIクローラーの多くを弾きつつGooglebotは許可するrobots.txtを追加し、適切なレートリミットも設定した。セキュリティ確認として、Claude自身に各脆弱性パスへのアクセスを試みさせるという手法も活用している。
今回の経験を機に、インフラ全体のパフォーマンス改善にも着手。高負荷時のスケーラビリティを高める複数の改善を実施したと述べている。