LLMコードの「だらしなさ」をどう測るか
Judul asli: Measuring the sloppiness of code
Mengapa Ini Penting
コード品質の定量評価は、AIエージェント実用化の鍵を握る未解決問題
LLMは正しいコードをほぼ完璧に生成できるが、不要な抽象化や重複、行数の膨張といった「slop」問題は未解決。Earendilが定量的アプローチで測定手法を模索している。
LLM（大規模言語モデル）はコード生成においてほぼ正確な出力を実現しているが、生成されたコードが「きれいかどうか」は別問題だ。Earendilのエンジニア、Sebastian氏が指摘するのは、機能追加のたびにコード行数（LOC）が爆発的に増加する「slop」現象。月間数百万行が追加されるプロジェクトでは人間が追いつけなくなる。
AIによる評価（AI-as-a-judge）は最も普及しているが、精度が低い。1〜10のスコアはほぼ乱数に等しく、解答AとBを比較させる方法も、名前を変えると判定が変わる問題がある。人間による評価は質は高いが、大規模ベンチマークやAI訓練には非現実的だ。
Sebastian氏がシンプルながら有効と評価するのがLOC変化量の計測だが、「指標として最適化し始めた瞬間に意味を失う」とも述べている。論文「SlopCodeBench」が提示するVerbosityなどの指標は、レガシーコードとLLM生成sloppyコードの分離に有効だとしている。定量的な評価手法の確立が業界全体の課題として浮上している。