Code LLM : mesurer la « sloppiness » du code généré
Original : Measuring the sloppiness of code
Pourquoi c'est important
La qualité structurelle du code IA devient le principal frein à l'autonomie des agents en production.
Sebastian de la startup Earendil analyse comment quantifier la mauvaise qualité structurelle du code produit par les LLMs. Si la correction syntaxique est quasi acquise, l'élimination des abstractions inutiles, doublons et décisions discutables reste un problème ouvert — sans métrique fiable à ce jour.
Les LLMs génèrent du code presque parfaitement correct, grâce à la vérifiabilité par tests automatiques. Mais la correction formelle ne garantit pas la qualité structurelle : abstractions superflues, duplications, mauvais choix d'architecture — ce que Sebastian appelle la « sloppiness ». Dans les projets ajoutant des millions de lignes par mois via agents IA, les humains peinent à maintenir le contrôle, et les agents eux-mêmes ne savent pas corriger ce problème.
Trois approches ont été évaluées. L'IA comme juge : noter le code de 1 à 10 équivaut à peu près à un générateur aléatoire ; la comparaison par paires A/B donne des résultats incohérents selon le nommage. Les juges humains : idéaux pour la lisibilité, mais pas scalables pour l'entraînement ou les benchmarks multi-modèles. Enfin, la mesure la plus simple — variation du nombre de lignes de code (LOC) — s'avère étonnamment efficace, mais s'autodétruit dès qu'on l'optimise directement. Le papier SlopCodeBench propose des métriques comme la « verbosité » pour distinguer bases legacy et slop LLM, avec des résultats prometteurs selon l'auteur.