LLMがStarCraftボットを自律開発するベンチ最新版
原題: Show HN: Gemini 4 Argon plays StarCraft
なぜ重要か
LLMのエージェント型コーディング能力をゲームAIという客観的指標で比較できる点で、能力評価の新たな軸として注目される。
StarSkirmish Bench v0.2が2026年10月15日に公開された。OpenAI、Anthropic、Google、Metaの主要LLMに1時間でStarCraft: Brood War用C++ボットを自律的に書かせ、人間が開発した競合ボットと対戦させる形式で評価する。最高スコアはGPT-6 Astraで、Gemini 4 ArgonとClaude Opus 5.5らが僅差で続いた。
StarSkirmish BenchはLLMが1時間（壁時計時間）でどれほど強力なStarCraft: Brood WarのProtossボットをC++で記述できるかを評価するベンチマークだ。各モデルは練習試合から学習してボットを改良するという長期的な推論とエージェント型コーディングが試される。
v0.2では各モデルを各社公式CLIハーネス上で動作させ、それぞれ5回実施した平均勝率をスコアとする。対戦相手は競争力のある人間製ボットとデモボットで構成されるロスター。
結果として、GPT-6 Astraが首位で他を明確に引き離した。2位はGPT-6.1 Sol。Gemini 4 Argon、Claude Opus 5.5、Claude Fable 5.1は37〜39点で事実上の3位タイとなった。
コスト効率面ではGPT-6.1 Solが際立つ。2位のスコアを維持しながら、GPT-6 Astraの1回あたりAPIコストの10分の1以下で動作する。
注目すべきはスコアの予測因子だ。練習フェーズでロスター内上位7ボットと何試合対戦したかが、最終スコアと最も強く相関する。GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argonは自ボットが負け続けている段階から早期に強いボットとの練習を開始した。一方Muse Wonder FullとClaude Haiku 5.5は強いボットとほとんど対戦しない傾向があった。
Gemini 4 Argonのrun間分散は大きく、最高と最低の差が18点に達した。GPT-6 Astraの9点、Claude Opus 5.5の8点と比べて安定性に課題がある。
人間製トップボットのStardust、PurpleWave、BananaBrainに対しては、最強のGPT-6 Astraでも勝率7%にとどまり、ベンチマークが飽和していないことが示された。