AIエージェント監視で人間は脅威の3割を見逃す
原題: Humans missed 1 in 3 threats approving AI agent commands across 40k game runs
なぜ重要か
AIエージェントの権限管理における人間の監視能力の限界が定量的に示され、セキュリティ設計への具体的な課題提起として業界に影響を与える。
Scale Xが公開したブラウザゲームの統計によると、4万回以上のプレイ・約40万9,000件の承認/拒否判断を分析した結果、平均的なプレイヤーはAIエージェントの危険なコマンドの約3分の1（33.7%）を見逃していたことが明らかになった。スコアがマイナスになったセッションは32.9%に上った。
Scale Xのエンジニアが開発したブラウザゲームは、AIコーディングエージェントの「human-in-the-loop」役を体験するもので、時間的プレッシャーの下でエージェントが発行するコマンドを承認または拒否する仕組みだ。コマンドには「git status」や「npm test」などの無害なものと、「cat ~/.aws/credentials」のようにシークレット情報を外部サーバーに送信しようとする危険なものが混在している。
40,000回超のプレイデータを分析した主な結果は以下の通り。平均正答率（脅威検出率）は66.3%で、プレイヤーの平均ミス率は33.7%。セッションの32.9%はペナルティが正解報酬を上回り、マイナススコアで終了した。全脅威を検出したプレイヤーは35.2%いたが、そのうち安全なコマンドのブロック率を20%以下に抑えながら達成できたのは20.8%にとどまった。一方、7%のプレイヤーは危険なコマンドを含む全プロンプトを承認し続けた。
脅威カテゴリー別のミス率では、「rm -rf /」のような明白な破壊コマンドのミス率が11.7%と最も低かった一方、「cat ~/.aws/credentials」などのスコープ違反や認証情報の外部送信（Exfiltration）系コマンドはそれぞれ35.0%・33.4%と3倍近い高ミス率を示した。
ゲーム内で最も見逃されたコマンドは「npm run analyze」で、承認率は64.7%に達した。このコマンド自体は通常無害だが、実際にはpackage.jsonで定義されたスクリプトを実行する仕組みであり、ゲームの履歴ログにはcurlで外部APIにデータを送信するペイロードが明示されていたにもかかわらず、3分の2以上のプレイヤーが承認した。「npm run setup」（ミス率48.0%）「npm run deploy」（44.9%）を含む同種のコマンド3件をまとめると、ミス率は52.5%に上り、他のExfiltration系攻撃（28.4%）の約2倍となった。なお本ゲームでは約34%のコマンドが脅威として設定されており、実業務での脅威出現率とは異なる点に留意が必要。