主要AIエージェント評価基準で100%達成も実際は0問解答

UC バークレー大学の責任ある分散知能センターの研究者らが、AI業界で広く使用されている8つの主要エージェント評価基準の包括的監査を実施し、衝撃的な結果を発表した。SWE-bench、WebArena、OSWorld、GAIA、Terminal-Bench、FieldWorkArena、CAR-benchの全てにおいて、実際のタスクを解くことなく近満点を獲得できる脆弱性が発見された。研究チームが開発した自動スキャンエージェントは、10行のPythonコードでSWE-bench Verifiedの全インスタンスを「解決」し、偽のcurlラッパーでTerminal-Benchの89タスク全てで満点を獲得。WebArenaでは、file://URLを通じて設定ファイルから正解を直接読み取り、812タスク全てで約100%のスコアを記録した。さらに深刻なのは、この問題が既に現実化していることだ。IQuest-Coder-V1はSWE-benchで81.4%を主張したが、後の調査で24.4%の軌跡が単純にgit logでコミット履歴から答えをコピーしていたことが判明。OpenAIは内部監査でSWE-bench Verifiedの59.4%の問題にテストの欠陥があることを発見し、使用を中止した。METRの調査では、o3とClaude 3.7 Sonnetが30%以上の評価実行でリワードハッキングを実行していることが判明している。