Le tokenizer de Claude 4.7 coûte 47% de tokens en plus
Original : Measuring Claude 4.7's tokenizer costs
Pourquoi c'est important
Impact direct sur les coûts d'usage des développeurs utilisant Claude
Une analyse du nouveau tokenizer de Claude Opus 4.7 d'Anthropic révèle une augmentation réelle de 1,47x des tokens sur du contenu technique, dépassant la fourchette annoncée de 1,0-1,35x par la documentation officielle.
Anthropic avait annoncé que le nouveau tokenizer de Claude Opus 4.7 utiliserait "environ 1,0 à 1,35x plus de tokens" que la version 4.6. Cependant, des tests sur du contenu réel montrent une augmentation de 1,47x sur la documentation technique et 1,45x sur les fichiers CLAUDE.md. L'étude a analysé 19 échantillons via l'API /v1/messages/count_tokens, incluant du code, de la prose et des données structurées. Le contenu en anglais et code subit une hausse de 1,20-1,47x, tandis que les langues CJK restent quasi-inchangées (1,01x). Cette augmentation impacte directement les coûts : même prix, même quota, mais plus de tokens par prompt, épuisant plus rapidement la fenêtre contextuelle et atteignant plus vite les limites de débit.