RTK : économies de tokens promises, résultats mitigés
Original : RTK reports token savings, but our cost benchmarks disagree
Pourquoi c'est important
Un outil viral d'optimisation IA ne garantit pas de réelles économies selon le modèle utilisé.
RTK (Rust Token Killer), outil de compression de terminal à 79 000 étoiles GitHub, promet jusqu'à 60 % d'économies sur les tokens Claude Code. Après 1 500 $ dépensés en tests sur Terminal-Bench 2.1, Quesma conclut : Fable économise 5 %, DeepSeek coûte 17 % de plus.
RTK filtre et compresse les sorties terminal avant qu'un agent IA ne les lise. Un post X affirmant que l'outil réduirait les tokens Claude Code de 60 % a généré 313 000 vues. Pourtant, le README lui-même précise : « moins de sortie terminal ≠ facture réduite ».
Quesma a testé RTK sur Terminal-Bench 2.1 avec Claude Code (Fable 5.0) et OpenCode (DeepSeek V4 Pro 0813), soit 1 740 tentatives. Résultats globaux : avec Fable, le coût total baisse de 5 % mais le taux de réussite recule de 1 %. Rapporté au coût par tâche réussie, Fable est 3 % moins cher. Avec DeepSeek, la facture monte de 5 % et le taux de réussite chute de 2 %, ce qui porte la hausse à +7 % par passe.
L'analyse par tâche est plus sévère : pour DeepSeek, le coût moyen par tâche augmente de 17 %, même en se limitant aux 36 tâches où toutes les tentatives ont réussi (+18 %). Côté Fable, presque toutes les économies viennent d'une seule tâche, winning-avg-corewars, où RTK réduit de moitié le nombre de tours nécessaires. Sur les autres tâches, l'écart est inférieur à 1 %.