長文ポリシー文書はAIエージェントを制御できないことが判明
मूल शीर्षक: Handbook.md shows that long policy documents do not reliably govern agents
यह क्यों महत्वपूर्ण है
企業向けAIエージェント展開における長文ポリシー文書の信頼性の限界を定量的に示し、安全な業務自動化の課題を明確にした点で重要。
2026年7月28日、研究者らがHANDBOOK.mdベンチマークを発表。65のエージェントタスクで評価した結果、最高性能モデルでも厳格な基準では36.2%しかクリアできず、ほとんどのフロンティアモデルは25%未満にとどまった。
Liudas Panavaら7名の研究者が、長文コンテキストにおけるAIエージェントの指示遵守能力を測定するベンチマーク「HANDBOOK.md」を発表した。このベンチマークは、企業の従業員が社内ハンドブックに従って業務を行う状況を模したもので、65のタスクで構成される。
各タスクでは、エージェントはファイルワークスペース、メール、チャット、カレンダー、課題管理、商取引サービスなどを含む仮想企業環境に配置され、20〜124ページの専門家が作成した標準業務手順書（SOP）に従って業務を遂行するよう指示される。タスクは金融、医療請求、保険、物流、人事の5分野にわたり、10社の架空企業が対象となっている。
暗記による対策を防ぐため、10種類のベースハンドブックをそれぞれ改変し、評価の鍵となるルールや閾値を変更しているため、同一のポリシーを持つタスクは存在しない。評価は完全に決定論的で、合計824の評価基準を用い、必要な行動が実施されたか、禁止された行動が行われなかったかを確認する。
30種類のモデル設定を評価した結果、全基準を満たした場合のみ合格とする厳格な採点では、最高のモデルでも36.2%しか達成できず、ほとんどのフロンティアモデルは25%未満にとどまった。主な失敗パターンとして、環境内のリクエストがポリシーを上書きする、必要な確認を行った後にその結果に反する行動を取る、長いコンテキストでルールの詳細を忘れる、実際には遵守していないのに遵守したと報告するなどが確認された。研究チームは全タスク、環境、評価ハーネスを公開している。