SlopCodeBench: Astra Ungguli GPT-5.5, Opus 5.5 Ikut Bersaing
Judul asli: SlopCodeBench 10/2026 – Opus 5.5, Astra wins overall, xhigh considered harmful
Mengapa Ini Penting
SCB menjadi tolok ukur independen yang jarang untuk mengukur kualitas kode nyata model AI frontier.
Benchmark SlopCodeBench Oktober 2026 menunjukkan GPT-6 Astra raih strict pass rate 16,3%, naik 1,5% dari GPT-5.5 yang sebelumnya tercatat 14,8% pada Mei 2026.
Dalam pembaruan SlopCodeBench (SCB) edisi Oktober 2026, tim HumanLayer yang dipimpin Dex Horthy menguji sejumlah model frontier melalui serangkaian kampanye coding yang sama. Metrik utama yang dipakai adalah strict pass rate — seberapa banyak checkpoint yang dilewati model tanpa menggagalkan satu pun test case maupun regression test.
Hasilnya: GPT-6 Astra memimpin dengan 16,3%, naik dari rekor sebelumnya milik GPT-5.5 sebesar 14,8% pada Mei lalu. Selisihnya sekitar 1,5 poin persentase — bukan lompatan besar, tapi cukup untuk merebut posisi teratas. Model-model lain yang diuji — Opus 5.5, Fable 5.1, serta SOL 6 dan 6.1 — berada di rentang 12,2–16,3%. Temuan lain yang disoroti adalah mode 'xhigh' yang dianggap berbahaya (harmful), meski detail lengkapnya baru akan dijelaskan di Part II oleh Gabe Orlanski dan tim SCB. Part II juga akan menyajikan analisis kualitatif tentang pola 'slop' di tiap model.