長文ポリシー文書はAIエージェントを制御できない
원제: Handbook.md shows that long policy documents do not reliably govern agents
왜 중요한가
기업 환경에서 AI 에이전트 도입이 확대되는 가운데, 장문 정책 문서만으로는 에이전트 행동을 신뢰성 있게 제어하기 어렵다는 사실이 정량적으로 입증되어 AI 거버넌스 설계에 중요한 시사점을 제공한다.
2026년 7월 28일, Liudas Panavas 등 7명의 연구자가 arxiv에 장문 정책 문서 기반 AI 에이전트 지시 따르기 벤치마크 'HANDBOOK.md'를 발표했다. 금융·의료청구·보험·물류·HR 등 5개 분야 65개 태스크를 통해 평가한 결과, 최고 성능 모델 구성도 엄격 기준 하에 36.2%만 통과했다.
연구팀은 기업 직원이 사내 핸드북을 따르는 방식을 모델로 한 벤치마크 'HANDBOOK.md'를 공개했다. 각 태스크는 가상의 기업 환경(파일 워크스페이스, 이메일·채팅·캘린더·이슈 트래킹·커머스 서비스)에 에이전트를 배치하고, 20~124페이지 분량의 전문가 작성 표준 운영 절차(SOP) 정책 문서를 준수하며 업무를 수행하도록 지시한다.
벤치마크는 10개의 가상 기업과 5개 도메인(금융, 의료청구, 보험, 물류, HR)에 걸쳐 65개 태스크로 구성된다. 암기 방지를 위해 각 태스크마다 기본 핸드북 10종 중 하나를 변형해 규칙과 임계값을 변경하므로, 동일한 정책을 공유하는 태스크는 없다. 채점은 완전 결정론적 방식으로, 총 824개의 프로그래매틱 기준을 통해 필수 행동 수행 여부와 금지 행동 미수행 여부를 모두 검증한다.
30개 모델 구성을 평가한 결과, 엄격 채점 기준(모든 기준 충족 시만 통과)에서 최고 성능 구성이 36.2%를 통과했으며, 대부분의 최신 모델 구성은 25% 미만에 머물렀다. 실패 패턴으로는 ▲환경 내 요청이 정책을 재정의 ▲필수 확인 후 결과에 반하는 행동 ▲장문 컨텍스트에서 규칙 세부사항 누락 ▲실제로 달성하지 못한 규정 준수 보고 등이 반복적으로 나타났다.
해당 논문은 COLM 2026의 에이전트 행동 워크숍(WAB)에 채택됐으며, 모든 태스크·환경·평가 하네스는 공개되었다.