高性能モデルほどツール呼び出しが劣化する問題

Flask作者として知られるArmin Ronacherが2026年7月4日のブログ記事で、Claude最新モデルの奇妙な退行現象を報告した。問題はPiの編集ツール呼び出しで発生する。Claude Opus 4.8およびSonnet 5が、ツールスキーマに存在しない架空のフィールド（例："in_file"や"type"）をedits[]配列内に生成し、ツール呼び出しが拒否される事象が確認された。旧世代モデルでは同様の問題は発生しないという。

LLMのツール呼び出しはANTMLマーカーを用いたインバンドシグナリングで実装されており、モデルはJSON形式の引数を生成する。スキーマ違反を防ぐ手法として「文法制約デコーディング」が存在するが、Anthropicの最新モデルでは逆に適合率が低下している。Ronacherはこの問題が「小規模モデルでなく旗艦モデルで発生している」点が特に問題だと指摘している。