LLMエージェントのバックエンドコード生成における制約劣化現象を研究
原題: Constraint Decay: The Fragility of LLM Agents in Back End Code Generation
なぜ重要か
LLMを活用した自動コード生成の実用化において、機能性と構造性を両立する技術的課題が明確化された
Francesco Dente氏らの研究チームが、大規模言語モデル（LLM）エージェントのバックエンドコード生成における「制約劣化」現象を発見。構造的制約が累積するとエージェントの性能が大幅に低下し、有能な構成でも平均30ポイント、弱い構成では性能がほぼゼロに近づくことが判明。8つのWebフレームワークで80のタスクを評価。
研究チームは、LLMエージェントが本格的なソフトウェア開発で求められる構造的制約にどの程度対応できるかを系統的に評価した。アーキテクチャパターン、データベース、オブジェクトリレーショナルマッピングなどの厳格な制約下での複数ファイルバックエンド生成能力を調査。
実験では、8つのWebフレームワークにわたって統一APIコントラクトを固定し、80のグリーンフィールド生成タスクと20の機能実装タスクを実施。エンドツーエンドの動作テストと静的検証を用いたデュアル評価により、構造的複雑性の影響を分離した。
結果、「制約劣化」と名付けられた現象が明らかになった。構造的要件が蓄積されると、エージェントの性能は大幅に低下する。有能な構成でもベースラインから完全仕様タスクまでの間で、アサーション合格率が平均30ポイント減少した。
フレームワーク感度分析では、明示的で最小限のフレームワーク（Flask等）では成功するが、規約が多い環境（FastAPI、Django等）では性能が著しく悪化することが判明。エラー分析により、データ層の欠陥（クエリ構成の誤りやORM実行時違反等）が主要な根本原因として特定された。