AIがStarCraft Brood Warを対戦、Codex Astraが全勝
原題: Brood War Bench
なぜ重要か
リアルタイム意思決定が要求されるRTSゲームは、LLMの「考える速度と行動する速度の乖離」を可視化する優れたテスト環境として注目される。
開発者のBen Swerdlow氏が構築した「Brood War Bench」で、複数のAIモデルがStarCraft: Brood Warをエージェントとして対戦。Codex Astra（xhigh設定）が18戦全勝・勝率100%で首位に立った。Claude Fable（83.3%）、Codex 5.6 Sol（72.2%）が続く一方、Grok 4.6はほぼ0勝に終わった。
Ben Swerdlow氏が公開した「Brood War Bench」は、AIエージェント同士にStarCraft: Brood Warをプレイさせ、その実力を測るベンチマークだ。きっかけはSwerdlow氏がエージェント経由でしか操作できないBrood Warを友人と遊んだこと。友人たちが「攻撃を指示したらエージェントが軍を編成して実行してくれた」と話したことで、エージェント単独でどこまで戦えるかを検証する実験が始まった。
リーダーボードではCodex Astra（xhigh設定）が18勝0敗・勝率100%、1ゲームあたりのコストは10.54ドルで最強を記録。同モデルのmedium設定（88.9%）、Claude Fable（83.3%）が続く。
Codexの特徴として顕著だったのは「チーズ戦略」への傾倒だ。Protoss使用時にProbeをマップ対岸へ送り込み、相手のワーカーや建物を妨害する戦術を繰り返した。これは相手エージェントが対処に数十秒もの思考時間を費やすため、驚くほど効果的だった。一方でマクロ運営（生産・技術ツリーの管理）は弱く、ユニットを少量ずつ逐次投入する初心者的ミスが目立った。Codexは経済・軍生産・軍制御をサブエージェントに分担させたが、相互連携がほぼなく、軍エージェントが新ユニットをその都度単独で突撃させるという非効率も観察された。
Grok 4.6の失敗はより深刻だった。G043セッションでは43分間で推論トークン1万1,138件を消費しながらコマンドバッチはわずか6回、戦闘ユニットの生産はゼロ。G003では3体のMarineを生産したものの敵基地に到達できず、G002では2体のZealotを作って試合を終えた。思考量と行動量の乖離が致命的で、リアルタイム戦略を「ターン制ゲーム」として扱う旧来モデルの弱点が露わになった形だ。
なお新しいモデルほどリアルタイム性への意識が高まる傾向があり、低労力設定（低思考量）の方が高勝率になるケースも見られた。これはモデルが「考えている間に破壊される」コストを計算できるかどうかの差が出たためだとSwerdlow氏は指摘する。全モデル共通して、初心者レベルを超えるプレイには至らなかった。