AIコードの「ずさんさ」を測定する試み
मूल शीर्षक: Measuring the sloppiness of code
यह क्यों महत्वपूर्ण है
LLMコード生成の品質評価は、AIエンジニアリングツール全体の信頼性と実用化を左右する未解決問題であり、定量的指標の確立が急務。
Earendilのエンジニア Sebastian氏が2026年9月に発表。LLMは構文的に正しいコードを生成できるが、不要な抽象化や重複コードなど「slop（粗悪コード）」の問題は未解決。コード行数（LOC）の変化量が現時点では最も実用的な指標だと報告している。
LLMによるコード生成の精度は高まったが、Earendil社のエンジニアSebastian氏は「正しいコードであること」と「良いコードであること」は別問題だと指摘する。vibe-codingで開発を進めると、機能追加のたびにLOCが爆発的に増加するケースが多く、月数百万行規模のプロジェクトでは人間の管理が追いつかなくなる。
AIエージェントもこの「slop」問題を自己解決できないと同氏は述べる。業界では「AI as a judge（AIによる評価）」が主流だが、モデルに1〜10のスコアを付けさせる方法はほぼ乱数同然。解決AとBを比較させる手法も、ラベルを変えると評価が変わる不安定さがある。大規模モデルでは影響が小さくなるが、本質的な問題は残る。
人間による評価が最も信頼性は高いものの、AIの学習やベンチマーク構築には非現実的なスケールとなる。現時点でSebastian氏が最も実用的と評価するのは「LOC変化量」の計測だ。ただし、これを最適化指標にすると測定自体が無意味になる（ グッドハートの法則）という根本的な矛盾を抱える。
論文「SlopCodeBench」で紹介された指標も有望とされ、既存コードベースとLLM生成コードを分離する精度が高いとされるが、詳細分析は今後の課題として残る。物理学出身の同氏は「業界全体がvibes（感覚）頼りで定量評価が不足している」と批判する。