Fable 5 vs GPT-5.6 Sol: NP困難問題での性能比較
मूल शीर्षक: Fable 5 vs. GPT-5.6 Sol on an NP-Hard Problem: Does /goal help?
यह क्यों महत्वपूर्ण है
最先端LLMのNP困難問題への実用的性能と、エージェントモード機能の効果を定量的に示した実証研究として注目される。
Charles Azamが、Claude Fable 5とGPT-5.6 Solに同一のNP困難な最適化問題を与え、ネイティブの/goalモードあり・なしで30分間の最適化テストを実施。Fable 5が全体で最良の解を出し、一貫性も際立った。
Charles Azamは、2018年にGrenoble、Nice、Parisの光ファイバーネットワーク設計問題（KIRO）を用いて、Claude Fable 5、Opus 4.8、Sonnet 5、およびGPT-5.6 Sol、Terra、Lunaの各モデルを比較検証した。
この問題はNP困難な組み合わせ最適化で、探索空間の下限はパリ単独で約10の1223乗に及ぶ。各モデルに30分の最適化時間を与え、/goalモードの有無で計測した。
旗艦モデルであるFable 5とGPT-5.6 Solについては3回ずつ繰り返し実験を実施。Fable 5のPlain（/goalなし）は32,197・32,516・32,446、/goal使用時は31,934・32,324・35,178。GPT-5.6 SolのPlainは33,581・35,539・33,663、/goal使用時は39,371・32,703・33,313。数値は総ケーブル長で低いほど良い。
/goalモードは6試行中4回で勝利したが、Fable 5の3回目では/goal使用時に+2,732、Sol の1回目では+5,790と大幅に悪化するケースもあった。
著者は「/goalは汎用的な『より頑張る』スイッチではなく、制御ループと探索経路を変える機能であり、良い方向にも悪い方向にも作用する」と結論。Claude CodeとCodexでは/goalの内部実装が異なる点も指摘した。Fable 5については「純粋な知性の高さが際立っており、これほどの一貫性は他のモデルで見たことがない」と評価した。