RTK、実コストは削減されず独自検証が反証
원제: RTK reports token savings, but our cost benchmarks disagree
왜 중요한가
AIエージェントのコスト最適化ツールの効果を独立検証した事例として、ベンチマーク手法と実コスト評価の重要性を業界に提示する。
AI コーディングツール「RTK（Rust Token Killer）」がトークン使用量を最大60〜90%削減すると喧伝される中、Quesma社は2026年9月11日、1,500ドル超を投じた独自ベンチマークの結果を公開した。Claude CodeおよびOpenCodeを用いたTerminal-Bench 2.1での1,740回の試行では、コスト削減効果は限定的、またはマイナスであることが示された。
GitHub Stars 7万9,000超を誇るRTKは、AIエージェントが読み取る前にターミナル出力をフィルタリング・圧縮するツールだ。X上での投稿が「Claude Codeのトークンを最大60%削減可能」と主張して31万3,000件のビューを集めるなど、注目度は高い。ただし、RTK自身のREADMEにも「ターミナル出力を削減することは、コスト削減と同義ではない」という免責事項が明記されている。
Quesmaの検証では、Claude Code（Fable 5.0）とOpenCode（DeepSeek V4 Pro 0813）を対象に、各タスクをRTKあり・なしで5回ずつ実行した。合計85〜89タスク、1,740回の試行だ。
総コストベースでは、Fableは5%減、DeepSeekは5%増という結果が出た。しかし、成功率はFableが1ポイント、DeepSeekが2ポイント低下。合格1回あたりのコストで換算すると、Fableは3%安、DeepSeekは7%高となった。
タスクごとに平均コスト変化を算出した場合、Fableは+1%（誤差範囲内）、DeepSeekは+17%増という結果に。DeepSeekの全試行が成功した36タスクに絞っても+18%と傾向は変わらない。
Fableにおけるわずかな節約のほぼ全ては「winning-avg-corewars」という単一タスクに起因しており、他のタスクでの差は1%未満だった。JetBrainsのSkillsBenchでも節約効果はゼロという結果が出ており、複数の独立した検証が「宣伝効果との乖離」を示している。