Les agents LLM montrent une fragilité face aux contraintes
Original : Constraint Decay: The Fragility of LLM Agents in Back End Code Generation
Pourquoi c'est important
Révèle un défi majeur pour l'adoption des agents IA en développement
Une étude révèle que les agents LLM perdent 30 points de performance en moyenne lorsque les contraintes structurelles s'accumulent dans la génération de code backend, un phénomène appelé "constraint decay".
Des chercheurs ont évalué la capacité des agents LLM à respecter les contraintes structurelles lors de la génération de code backend sur 80 tâches de création et 20 tâches d'implémentation. L'étude révèle un phénomène de "constraint decay" : les performances chutent drastiquement quand les exigences structurelles s'accumulent. Les configurations capables perdent 30 points en moyenne, certaines approchant zéro. Les agents réussissent mieux avec des frameworks minimalistes comme Flask qu'avec des environnements complexes comme Django. Les défauts de couche de données (composition de requêtes, violations ORM) sont identifiés comme causes principales d'échec.