SlopCodeBench : Astra domine, Opus 5.5 suit
Original : SlopCodeBench 10/2026 – Opus 5.5, Astra wins overall, xhigh considered harmful
Pourquoi c'est important
SCB mesure la capacité réelle des agents à corriger du code dégradé, un cas d'usage industriel concret.
En octobre 2026, GPT-6 Astra atteint 16,3 % de taux de réussite strict sur SlopCodeBench, dépassant GPT-5.5 (14,8 % en mai). Les modèles testés se situent entre 12,2 % et 16,3 %.
Le benchmark SlopCodeBench (SCB) publie sa mise à jour d'octobre 2026, signée Dex Horthy avec des contributions de Gabe Orlanski. La métrique centrale reste le « strict pass rate » : le pourcentage de points de contrôle où le modèle passe tous les cas de test sans casser les tests de régression existants.
Depuis mai 2026, où GPT-5.5 plafonnait à 14,8 %, les scores ont progressé modestement. GPT-6 Astra mène le classement à 16,3 %, soit +1,5 point sur GPT-5.5. Les autres modèles évalués — Opus 5.5, Fable 5.1, SOL 6 et 6.1 — s'échelonnent entre 12,2 % et 16,3 %. L'article signale par ailleurs que le mode « xhigh » est désormais considéré comme nuisible (« xhigh considered harmful »), sans que les détails de cette conclusion soient développés dans cette première partie.
Une partie II, portée par Gabe Orlanski et l'équipe SCB, doit suivre avec une analyse qualitative des « slop patterns » observés. Les scores restent globalement bas, ce qui, selon les auteurs, reflète la difficulté réelle des scénarios de code legacy dégradé testés.