AI「トークン最大化」が開発者の生産性を実際より低下させる
原題: ‘Tokenmaxxing’ is making developers less productive than they think
なぜ重要か
AI開発ツールの実際の効果を正確に測定することで、企業の開発効率と投資対効果の最適化が可能になる。
シリコンバレーの開発者の間で巨大なトークン予算が名誉の印となっているが、これは生産性測定の誤った手法だとWaydevのCEOが指摘。AI生成コードの受入率は80-90%でも、後の修正により実際の受入率は10-30%に低下することが判明した。
ソフトウェアエンジニアは何十年もの間、コード行数から始まる生産性指標について議論してきたが、AI コーディングエージェントの新世代がかつてないほど多くのコードを生成する中、管理者が何を測定すべきかは明確でない状況だ。
シリコンバレーの開発者の間では、開発者が消費を許可されたAI処理能力の量を表す巨大なトークン予算が名誉の印となっているが、これは生産性について非常に奇妙な考え方だと専門家は指摘する。プロセスへの入力を測定することは、出力により多く関心がある場合にはほとんど意味をなさない。
「開発者生産性インサイト」分野で活動する新しいクラスの企業からの証拠を考えると、Claude Code、Cursor、Codexなどのツールを使用する開発者は、以前よりもはるかに多くの受け入れられるコードを生成していることがわかる。しかし、エンジニアは以前よりもはるかに頻繁に受け入れられたコードを見直すために戻らなければならず、生産性向上の主張を損なっている。
WaydevのCEO兼創設者Alex Circeiは、これらの動態を追跡するインテリジェンス層を構築している。同社は1万人以上のソフトウェアエンジニアを雇用する50の異なる顧客と協力している。彼によると、エンジニアリング管理者はコード受入率80%から90%を見ているが、エンジニアが数週間後にそのコードを修正しなければならない際に発生する変更を見落としており、これにより実際の受入率は生成されたコードの10%から30%に低下している。
AIコーディングツールの台頭により、2017年に設立された開発者分析を提供するWaydevは、急速なコーディングツールの普及に対処するため、過去6ヶ月でプラットフォームを完全に作り直した。現在同社は、AIエージェントが生成するメタデータを追跡し、エンジニアリング管理者にAI採用と効果の両方についてより多くの洞察を提供するため、コードの品質とコストに関する分析を提供する新しいツールをリリースしている。