SlopCodeBench: Astra 1위, Opus 5.5 추가
원제: SlopCodeBench 10/2026 – Opus 5.5, Astra wins overall, xhigh considered harmful
왜 중요한가
최신 프론티어 모델들의 실용적 코딩 능력이 여전히 16% 수준에 머물러, 코딩 에이전트의 실무 한계를 수치로 확인할 수 있다.
2026년 10월 15일, HumanLayer의 Dex Horthy가 SlopCodeBench 최신 결과를 공개했다. GPT-6 Astra가 엄격 통과율(strict pass rate) 16.3%로 1위를 차지했으며, 5월 기준 14.8%를 기록했던 GPT-5.5 대비 1.5%p 향상됐다. 주요 평가 모델은 Opus 5.5, Fable 5.1, SOL 6·6.1, Astra 등이며 전체 범위는 12.2~16.3%다.
HumanLayer가 운영하는 코딩 에이전트 벤치마크 SlopCodeBench(SCB)의 2026년 10월 업데이트가 공개됐다. 이번 결과는 Dex Horthy와 Gabe Orlanski가 작성했으며, 세부 슬롭 패턴 분석을 담은 파트 II는 별도 공개 예정이다.
SCB의 핵심 지표인 '엄격 통과율'은 모델이 특정 체크포인트의 모든 테스트 케이스를 통과하는 동시에 기존 회귀 테스트도 통과해야 인정된다. 단순 정답률보다 훨씬 까다로운 기준이다.
이번 평가에서 GPT-6 Astra가 16.3%로 최고 점수를 기록했다. 직전 공개 결과(2026년 5월)에서 GPT-5.5가 14.8%였던 것과 비교하면 약 1.5%p 개선됐다. Opus 5.5, Fable 5.1, SOL 6, SOL 6.1도 함께 평가됐으며 전체 모델의 엄격 통과율 범위는 12.2~16.3%다.
또 다른 주목 포인트는 제목에 명시된 'xhigh considered harmful'이다. 이는 특정 컨텍스트 설정이나 파라미터 옵션이 오히려 성능을 저하시킨다는 실험적 발견을 시사하며, 구체적인 분석은 파트 II에서 제공될 예정이다.
SCB는 실제 업무 코드베이스에서 발생하는 '슬롭(slop)'—품질이 낮거나 패턴이 반복되는 코드—을 처리하는 능력을 측정하는 데 초점을 맞춘 벤치마크로, 일반적인 코딩 벤치마크와 차별화된다.