Fable 5がNP困難問題でGPT-5.6 Solを圧倒
원제: Fable 5 vs. GPT-5.6 Sol on an NP-Hard Problem: Does /goal help?
왜 중요한가
실제 NP-Hard 문제에서 Fable 5가 GPT-5.6 Sol을 일관성과 성능 양면에서 앞서, 대규모 조합 최적화 분야에서의 모델 실용성 비교에 중요한 데이터를 제공했다。
개발자 Charles Azam이 2026년 7월 17일, Claude Fable 5와 GPT-5.6 Sol을 미공개 NP-Hard 최적화 문제(광섬유 네트워크 설계 'KIRO')로 30분 제한 내에 비교한 결과를 발표했다. Fable 5가 최저 31,934의 솔루션을 기록, GPT-5.6 Sol의 최선값 32,703을 능가した。
Charles Azam은 2018년 학생 시절에 접했던 광섬유 네트워크 설계 문제 'KIRO'를 벤치마크로 사용했다. 이 문제는 Grenoble, Nice, Paris 3개 도시의 방향성 거리 행렬을 기반으로, 배전 허브와 터미널을 루프 및 단거리 체인으로 연결하는 최적화 문제다. 탐색 공간은 파리 단독 기준으로도 약 10^1223에 달하는 극도로 광대한 NP-Hard 문제다.
실험에는 Claude Fable 5, Opus 4.8, Sonnet 5와 GPT-5.6 Sol, Terra, Luna를 대상으로, '/goal 모드 사용' 및 '미사용' 조건 각각에서 30분 최적화를 수행했다. 주요 플래그십 모델인 Fable 5와 Sol은 각 3회씩 반복 실험했다.
결과에서 Fable 5는 3회 plain 모드 평균이 32,386, /goal 모드에서는 2회 개선(31,934, 32,324)과 1회 악화(35,178)를 기록했다. GPT-5.6 Sol은 plain 모드 평균 34,261로, /goal 모드에서도 큰 폭의 개선은 보이지 않았다. 6회 시험 중 /goal이 4회 승리했으나, 저자는 '/goal은 범용적인 '더 열심히' 스위치가 아니라, 제어 루프와 탐색 경로를 변경하는 것'이라고 설명했다.
또한 Claude Code와 OpenAI Codex에서 /goal 명령이 서로 다른 내부 메커니즘(별도 평가자 vs. 상태 유지 도구)으로 작동한다는 점도 분석했다. 모든 코드, 프롬프트, 결과 데이터는 CLIArena에 공개되어 있다.