SlopCodeBench: Astra शीर्ष, xhigh हानिकारक
मूल शीर्षक: SlopCodeBench 10/2026 – Opus 5.5, Astra wins overall, xhigh considered harmful
यह क्यों महत्वपूर्ण है
frontier coding agents के बीच तुलनात्मक benchmark डेटा डेवलपर्स और उद्योग के लिए model चयन में सहायक है।
अक्टूबर 2026 में SlopCodeBench के नवीनतम परिणामों में GPT-6 Astra ने 16.3% strict pass rate के साथ शीर्ष स्थान पाया। मई 2026 में GPT-5.5 का स्कोर 14.8% था। परीक्षित मॉडलों की range 12.2–16.3% रही।
Dex Horthy और Gabe Orlanski द्वारा 15 अक्टूबर 2026 को प्रकाशित SlopCodeBench (SCB) के अक्टूबर अपडेट में frontier coding models की तुलना की गई। यह रिपोर्ट दो भागों में से पहला भाग है; दूसरे भाग में slop patterns का गुणात्मक विश्लेषण होगा।
SCB का मुख्य मापदंड strict pass rate है — यानी कितने checkpoints में model ने सभी test cases पास किए और साथ ही सभी regression tests भी उत्तीर्ण किए। मई 2026 में GPT-5.5 ने 14.8% का सर्वश्रेष्ठ स्कोर दर्ज किया था। इस बार GPT-6 Astra ने 16.3% के साथ सभी को पीछे छोड़ा, जो GPT-5.5 से 1.5 प्रतिशत अंक अधिक है।
इस चक्र में परीक्षित मॉडलों में Opus 5.5, Fable 5.1, SOL 6 और SOL 6.1 शामिल रहे। सभी की strict pass rate 12.2% से 16.3% के बीच रही। रिपोर्ट में यह भी नोट किया गया कि xhigh सेटिंग को 'हानिकारक' माना गया है, हालांकि विस्तृत तकनीकी कारण Part II में आएंगे।
SCB की संरचना challenges को checkpoints में विभाजित करती है, जिससे model की कोडिंग क्षमता का बारीक मूल्यांकन संभव होता है।