Meilleurs modèles, outils moins fiables
Original : Better Models: Worse Tools
Pourquoi c'est important
La fiabilité des appels d'outils est cruciale pour les agents LLM en production.
L'ingénieur Armin Ronacher constate que Claude Opus 4.8 et Sonnet 5 génèrent des appels d'outils invalides en ajoutant des champs inventés dans les schémas JSON, contrairement aux modèles Anthropic plus anciens. Un paradoxe inquiétant : les modèles SOTA régressent sur ce point précis.
Dans un billet publié le 4 juillet 2026, Armin Ronacher (créateur de Flask) décrit un bug découvert en travaillant sur Pi, son outil d'édition de code. Les nouveaux modèles Claude — Opus 4.8 et Sonnet 5 — insèrent parfois des clés JSON inventées (comme "in_file" ou "type") dans le tableau edits[] lors d'appels d'outils, ce que le schéma interdit. Résultat : Pi rejette l'appel et demande une nouvelle tentative, dégradant l'expérience utilisateur.
Ce qui interpelle Ronacher, c'est que les modèles plus anciens d'Anthropic ne présentaient pas ce problème — les modèles supposément plus capables régressent sur une tâche structurée précise. Il explique que les appels d'outils LLM reposent sur un marquage en texte brut (tokens ANTML chez Anthropic), et non sur une magie formelle. Le modèle émet du JSON imbriqué dans une structure pseudo-XML, puis un validateur côté serveur contrôle la conformité au schéma.
Ronacher évoque deux approches pour fiabiliser ces appels : la validation post-génération (classique) ou le décodage contraint par grammaire, qui empêche le modèle d'échantillonner des tokens invalides dès la génération. Il souligne que la complexité croissante des modèles ne garantit pas une meilleure conformité aux outils.