SlopCodeBench最新版：AstraがGPT-5.5超え
原題: SlopCodeBench 10/2026 – Opus 5.5, Astra wins overall, xhigh considered harmful
なぜ重要か
Strict Pass Rateが最高でも16.3%という数字は、AIコーディングエージェントの実用精度が依然として低い水準にあることを業界に示している。
2026年10月15日、HumanLayerのDex Horthyは「SlopCodeBench」最新ベンチマーク結果を公開した。フロンティアモデルのStrict Pass Rateは12.2〜16.3%の範囲で、GPT-6 Astraがトップの16.3%を記録。前回5月のGPT-5.5の14.8%から約1.5ポイント改善した一方、全体の水準は依然として低く、コード生成品質の課題が浮き彫りになった。
HumanLayerが運営する「SlopCodeBench（SCB）」は、AIコーディングエージェントが生成する「slop（粗悪コード）」の耐性を測定するベンチマークだ。評価指標として用いる「Strict Pass Rate」は、全テストケースに合格しつつ回帰テストも通過したチェックポイントの割合を示す厳格な基準で、単なる正解率よりも実用性を重視した設計になっている。
今回のテスト対象はOpus 5.5、Fable 5.1、SOL 6および6.1、GPT-6 Astra（コードネーム「Astra」）の計5モデル。結果はGPT-6 Astraが16.3%でトップに立ち、前回5月のGPT-5.5（14.8%）から約1.5ポイント上昇した。ただし全モデルのStrict Pass Rateは12.2〜16.3%という狭い範囲に集中しており、モデル間の差は小さい。
注目点の一つが「xhigh considered harmful（xhighは有害）」という見出しだ。詳細はPart IIで解説予定だが、推論努力レベルを最高値（xhigh）に設定しても必ずしも結果が改善しないどころか、逆効果になりうることを示唆していると読める。
本記事はPart Iと位置づけられており、Gabe Orlanski率いるSlopCodeBenchチームがslop生成パターンの定性的分析をPart IIで公開予定。背景として、SCBは各課題を複数のチェックポイントに分解し、コードの機能的正確さだけでなく既存コードへの影響も評価する点が特徴だ。前回のベンチマーク記事（Opus 5対応版、SOL・Fable・Kimi対応版）も同リポジトリで公開されている。