新モデルほどツール呼び出しが悪化する問題
मूल शीर्षक: Better Models: Worse Tools
यह क्यों महत्वपूर्ण है
最新AIモデルが旧モデルよりもツール呼び出しの精度が低下するという回帰問題は、AI開発ツールの信頼性に直接影響するため業界全体で注目すべき課題である。
Armin Ronacherが2026年7月4日に報告。Anthropicの最新モデルClaude Opus 4.8およびSonnet 5が、Piのeditツール呼び出し時にスキーマに存在しない架空のフィールドを生成し、ツール呼び出しが失敗する問題が確認された。旧モデルでは同問題は発生していない。
Flaskフレームワーク作者として知られるArmin Ronacherが、PiのAIコーディングツールを使用中に奇妙な問題を発見した。Claude Opus 4.8やSonnet 5などAnthropicの最新世代モデルが、Piのeditツールを呼び出す際、スキーマに定義されていない架空のキー（"in_file"や"type"など）をedits[]配列内に追加して出力するという問題だ。編集内容自体は正しいが、引数がスキーマに合致しないためPi側がツール呼び出しを拒否し、モデルに再試行を要求する。
問題の核心はLLMのツール呼び出し仕組みにある。モデルはANTMLと呼ばれるXML風マーカーを用いてツール呼び出しを出力するが、これは真のXMLではなくトークン化のために設計された独自形式だ。配列などの複雑な引数はJSON形式でシリアライズされ、その中でモデルが架空のフィールドを追加してしまう。
Ronacherは、この問題への対策として「文法制約付きデコーディング（constrained decoding）」を挙げている。これはサンプラーレベルでスキーマに違反するトークンの出力を防ぐ手法で、より古いモデルには意図せず適用されていた可能性があるが、最新モデルでは何らかの変更によりその制約が緩和・除去された可能性を示唆している。旧来のモデルでは同問題が再現されず、新しいSOTAモデルほど特定ツールスキーマへの準拠が低下しているという逆説的な状況が確認されている。