LLM活用でソフトウェア低速化の言い訳はもう通用しない
原題: There's no reason for software to be slow anymore
なぜ重要か
LLMがJITコンパイラ実装など高度な性能最適化の民主化を加速させており、ソフトウェア開発コストと品質の両面で業界に大きな構造変化をもたらす可能性がある。
ブログ「danluu.com」の著者は、LLMを用いたコード最適化について詳述した記事を公開した。正規表現エンジン「FRE」をエージェントループで1か月改善した実験では、長時間クエリにおいて通常の2〜4倍の速度向上を達成。JITコンパイラ実装など従来は高度専門知識を要した性能最適化作業が、誰でも数文の指示で実行可能になったと指摘している。
ソフトウェアエンジニアのDan Luu氏は、LLM（大規模言語モデル）の普及によって、パフォーマンス最適化にかかるコストが「かつてとは比較にならないほど低下した」とする考察記事を公開した。
記事の核心は、従来は特殊なスキルを持つ専門家やチームが必要だった性能改善作業が、数文の指示を入力するだけで誰でも実施できるようになったという点だ。AWSのエンジニアMarc Brooker氏はこれに同意し、「特定のワークロードに合わせて動的にカスタマイズされたソフトウェアが今後の主流になるだろう」とコメント。FFTWやデモシーン技術のような、特定問題・特定ハードウェアへの超最適化の手法が広く実現可能になると見ている。
エンジニアのMichael Malis氏は、JITコンパイラを具体例として挙げた。多くのソフトウェアでJITコンパイラは速度向上に有効だが、実装の難しさゆえに普及してこなかった。LLMはその参入障壁を大幅に下げ、例えばデータベース向けプロジェクト「pgrust」のような野心的な試みが可能になったと述べた。
実験として、著者は以前構築した正規表現エンジン「FRE」を取り上げた。FREはエージェントループを1か月動かし、正規表現ベンチマークスイート「rebar」を使って性能改善を繰り返したもの。さらに、ネイティブAOTコンパイル版をripgrepの通常マッチャーと並列で動かし、コンパイル完了後にネイティブコードへ切り替える仕組みをエージェントに実装させた。人間が行えば相当量のコード改修が必要な作業を、数文の指示だけで完成させた。実際のripgrepクエリでベンチマークを実施した結果、長時間クエリでは2〜4倍の速度向上が確認された。
著者は、短いクエリではコンパイルにスレッドを取られるため性能が落ちる場合もあるが、数秒で終わるクエリより数分かかるクエリの高速化を優先しているためそのトレードオフは許容できると説明している。