RTK、実際のコスト削減効果は疑問符
原題: RTK reports token savings, but our cost benchmarks disagree
なぜ重要か
AIコーディングエージェントのコスト最適化ツールの宣伝効果と実測値の乖離は、企業の導入判断に直結する問題であり、業界全体のベンチマーク手法の信頼性を問う事例となる。
AI コーディングツールの「RTK（Rust Token Killer）」がトークン使用量を最大90%削減すると宣伝される中、Quesma社が$1,500超を費やした実測ベンチマークを2026年9月11日に公開。Claude CodeとOpenCodeで計1,740回の試行を行った結果、DeepSeekではRTK使用時にタスク単位のコストが平均17%増加し、節約効果は確認できなかった。
GitHub上で79,000超のスターを獲得しているRTKは、AIエージェントが読む前にターミナル出力をフィルタリング・圧縮するツールだ。X上では「Claude Codeのトークンを最大60%削減できる」とする投稿が31万3,000件の表示を記録し、大きな注目を集めた。ただしRTK自身のREADMEには「bashの出力を最大90%削減するが、これは請求額を90%削減することと同義ではない」との注記がある。
QuesmaのBartosz KotrysとJacek Migdalは、重いターミナル操作を含むTerminal-Bench 2.1を使い、Claude Code（Fable 5.0）とOpenCode（DeepSeek V4 Pro 0813）の2系統で検証した。各タスクをRTKなしで5回、RTKありで5回実行し、セキュリティタスクの拒否分を除いた計174タスク・1,740回の試行を集計している。
請求総額ベースでは、Fable（Claude Code）がRTK使用時に5%減、DeepSeekは5%増となった。パス率はFableで1ポイント、DeepSeekで2ポイント低下した。合格件数あたりのコストで見るとFableは3%安くなる一方、DeepSeekは7%高くなる。
タスク単位で平均すると、FableはRTKありで1%高くなり、DeepSeekは17%の増加を示した。DeepSeekで全10試行が合格した36タスクに絞っても18%増と傾向は変わらない。
Fableの節約効果はほぼ「winning-avg-corewars」という1タスクに集中しており、RTKありだとターン数が約半分で済んだ。このタスクを除くと他のタスクでの節約は1%未満だった。JetBrainsのSkillsBenchも同様に節約効果なしとの結果を出しており、独立した複数の検証が一致した形だ。