Claude Fable 5がNP困難問題でGPT-5.6 Solを圧倒
原題: Fable 5 vs. GPT-5.6 Sol on an NP-Hard Problem: Does /goal help?
なぜ重要か
最先端AIモデルのコーディング・最適化能力を実問題で比較した独立検証として、モデル選定やエージェント設計の判断材料となる。
エンジニアのCharles Azam氏が、Claude Fable 5とGPT-5.6 Solに同一のNP困難な最適化問題（光ファイバーネットワーク設計）を与え、各モデルのネイティブ機能「/goal」モードの有無で比較検証した。Fable 5は全試行で最良解を記録し、一貫性の高さが際立った。一方、/goalモードは「汎用的な強化スイッチ」ではないと結論付けられた。
Charles Azam氏は、2018年に学生時代のハッカソン向けに作成した光ファイバーネットワーク設計問題「KIRO」を使用し、Claude Fable 5・Opus 4.8・Sonnet 5、およびGPT-5.6 Sol・Terra・Lunaの計6モデルを比較した。この問題はNP困難な組み合わせ最適化で、パリ単体の探索空間は10^1223以上と推定される。
各モデルに対し、/goalモードあり・なしの2条件で30分間の最適化を実施した。評価指標はケーブル総延長（低いほど良い）。フラッグシップモデルであるFable 5とGPT-5.6 Solは各3回ずつ繰り返し実験が行われた。
結果はFable 5が圧倒的な強さを示した。3回の試行における平均スコアはGPT-5.6 Solを大幅に上回り、特に一貫性（ばらつきの小ささ）が顕著だった。具体的には、Fable 5のPlainモードのスコアが32,197〜32,516の範囲に収まる一方、GPT-5.6 Solは33,313〜39,371と幅が広かった。
/goalモードの効果については、6試行中4試行でgoalモードの方がスコアが良く、勝率だけ見れば有効に映る。しかし内部動作を深掘りすると、Claude CodeとCodexではコントロールループの構造が異なることが判明した。Claude Codeは別途評価器を用いており、Codexは状態を持続させるライフサイクルツールを使用している。/goalは「探索経路を変える」ものであり、好ましい解空間に当たれば有効だが、悪い初期方針に余計な時間を与えるリスクもある。Azam氏は「/goalはデフォルトの汎用強化手段とは言えない」と述べている。
すべてのコード・プロンプト・結果テーブル・試行ログはCLIArenaリポジトリで公開されている。