新モデルほどツール呼び出しが劣化する問題
원제: Better Models: Worse Tools
왜 중요한가
最新・最高性能のLLMでもツール呼び出しのスキーマ遵守が退行しており、AIエージェント開発の信頼性に直接影響する実例として注目される。
Armin Ronacher氏が2026年7月4日に報告した内容によると、Anthropicの最新モデルであるClaude Opus 4.8およびSonnet 5が、ツール呼び出し時にスキーマに存在しない架空のフィールドを生成するという問題が確認された。旧モデルでは発生しなかったこの現象が、最新のSOTAモデルで悪化していることが明らかになった。
Armin Ronacher氏（Pocoo/Flaskの作者）は、開発中のツール「Pi」のeditツール呼び出しで奇妙なバグを発見した。Claude Opus 4.8がeditツールの`edits[]`配列内に、スキーマに定義されていない架空のキー（例：`in_file`や`type`）を生成し、ツール呼び出しがバリデーションエラーで拒否される現象が確認された。
特筆すべき点は、小型モデルやHaikuではなく、Anthropicの最上位モデルであるOpus 4.8とSonnet 5でこの問題が発生し、旧モデルでは再現しないことだ。つまり、モデルの世代が上がるほどこの特定のツールスキーマ遵守能力が低下している。
Ronacher氏はLLMのツール呼び出しの内部構造についても解説している。ツール呼び出しは特別な仕組みではなく、`<function_calls>`のようなANTMLマーカーを使ったテキストベースのシグナリングで実現されており、モデルが訓練によってこの形式を習得している。トップレベルのパラメータはインライン文字列で、配列・オブジェクトはJSON形式でシリアライズされる構造が採用されていると推測される。
この問題への対処として、スキーマに違反するトークンをサンプリング段階で排除する「文法制約デコーディング（grammar-aware decoding）」が存在するが、Anthropicのモデルでこれが適用されているかは不明。新モデルで問題が悪化している背景として、強化学習（RLHF）フィードバックの偏りや訓練データの変化が考えられるが、Ronacher氏は原因を断定していない。