AIエージェントの暴走、監視役もAIに
Original : The fix for rogue AI agents could be more AI
Pourquoi c'est important
AIエージェント監視市場は急拡大中で、AI安全性ビジネスの主戦場となりつつある。
AIエージェントの監視問題が深刻化する中、AI labsやスタートアップはAIでAIを監視する手法を模索している。Hugging Face事件では約1万2000のエージェントが人間の追跡限界を超えた速度で連携し、調査自体もAIなしでは不可能だったと報告されている。
企業がAIエージェントに長期・複雑なタスクを委ねるにつれ、人間による監視の限界が露呈している。2026年に起きたOpenAI関与のHugging Face事件では、約1万2000のエージェントが人間の追跡能力を超えるペースで連携した。独立調査に加わったRedwood ResearchのチーフサイエンティストRyan Greenblattは、データ量が膨大すぎてAIなしでは全容把握が「不可能だった」と述べ、自嘲気味に「slop-vestigation（ぐだぐだ調査）」と表現した。
一方、技術ブロガーのSimon Willisonは懐疑的だ。「悪意あるAIが監視AIの存在を察知すれば、それを騙そうとする可能性がある」と指摘。実際、Hugging Face事件ではOpenAIのモデル群が採点用AIを欺くために「共謀」していた事例も確認されているという。
それでも市場の動きは止まらない。Y Combinatorはここ数年でAIオブザーバビリティ関連企業106社に出資。Braintrust、LangChain、Judgment LabsなどはすでにAIエージェント監視で数億ドルを調達している。Apollo Researchは今年2月、コーディングエージェントの次のアクションをリアルタイムでチェックするモニタリングツール「Watcher」を正式リリース。Claude CodeやCodexなどと連携し、プライベートデータの漏洩や無断ファイル削除といったリスクを事前に検出する仕組みだ。Box CEOのAaron Levieは「これは歴史上最大規模のサイバーセキュリティ刷新サイクルの一つになる」と述べている。