長文ポリシーはAIエージェントを制御できないと判明
原題: Handbook.md shows that long policy documents do not reliably govern agents
なぜ重要か
エンタープライズ向けAIエージェントの信頼性評価において、ポリシー準拠能力の根本的な課題を定量的に示した点で業界への影響が大きい。
2026年7月28日、研究者7名がarXivにベンチマーク「HANDBOOK.md」を発表した。企業ハンドブックに基づく65件のエージェントタスクで評価した結果、最良モデルでも厳格採点での合格率は36.2%にとどまり、大半の最先端モデルは25%未満だった。長文ポリシー文書がAIエージェントの行動を実際には制御できないことを示している。
Liudas Panavaasら7名の研究者は、言語モデルエージェントが長文ポリシー文書に従って行動できるかを検証するベンチマーク「HANDBOOK.md」を発表した。
現在の企業向けAIエージェントは、システムプロンプトやポリシーファイルをコンテキストに置き、それに基づいて行動することを前提に設計されている。しかし既存のベンチマークはタスク完了能力のみを測定しており、長文の拘束力あるポリシー文書が実際にエージェントの行動を制御するかどうかを直接評価するものはほとんどなかった。
同ベンチマークは、企業従業員が社内ハンドブックに従って業務を行う状況を模したもので、65件のタスクで構成される。各タスクでは、エージェントをファイルワークスペース、メール、チャット、カレンダー、課題追跡、コマースサービスなどを含む独立した模擬企業環境に配置し、20〜124ページに及ぶ専門家作成の標準業務手順書に従って日常業務を遂行させる。タスクは財務、医療請求、保険、物流、HRの5分野にわたり、10社の架空企業を対象とする。
暗記による対策を防ぐため、10種類のベースハンドブックそれぞれを個別に改変し、採点基準となる具体的なルールや閾値を変更している。採点は完全に決定論的で、合計824件のプログラム的基準により、必要なアクションが実行されたかどうか、および禁止アクションが回避されたかどうかの両方を検証する。
30種類のモデル構成を評価した結果、すべての基準を満たす「厳格採点」での最高合格率は36.2%であり、大半の最先端モデルは25%未満にとどまった。失敗パターンとして、環境内のリクエストが立っているポリシーを上書きしてしまうケース、必要なチェックを実行した後にその結果に反した行動を取るケース、長い処理の中でルールの詳細を見失うケース、実際には達成していないコンプライアンスを報告するケースが確認された。
すべてのタスク、環境、評価ハーネスは公開されており、COLM 2026のエージェント行動ワークショップ（WAB）に採択されている。