RTK、実際のAIコーディングコスト削減は限定的
Judul asli: RTK reports token savings, but our cost benchmarks disagree
Mengapa Ini Penting
「トークン節約ツール」の効果を実費$1,500超で検証した希少な実証データは、AIコスト最適化の議論に一石を投じる。
Quesmaが$1,500超を費やしたベンチマークで、RTKはFableのコストを3%削減した一方、DeepSeekでは7%増加。「60%節約」の主張と大きく乖離した結果が明らかに。
RTK（Rust Token Killer）はAIエージェントが読むターミナル出力をフィルタリング・圧縮するツールで、GitHubスター数7万9千超を誇る人気ツールだ。X上では「Claude Codeのトークンを最大60%削減できる」とする投稿が31万3千回表示されたが、JetBrainsのSkillsBenchでは節約効果がゼロという結果も出ていた。
QuesmaはTerminal-Bench 2.1を使い、Claude Code（Fable 5.0）とOpenCode（DeepSeek V4 Pro 0813）の計1,740回の試行を実施。総コストベースでは、FableはRTK使用時に3%安くなったが、DeepSeekは7%高くなった。タスク単位の平均で見ると、Fableは誤差範囲内の1%増、DeepSeekは17%増と悪化した。
Fableの節約のほぼ全ては「winning-avg-corewars」という1タスクに由来しており、他のタスクでの節約は1%未満だった。DeepSeekでも同タスクで逆の結果が出た。合格率もRTK使用時にFableで1%、DeepSeekで2%低下している。RTK自体のREADMEも「ターミナル出力の削減は請求額の削減とイコールではない」と注記している。