LLM, 스타크래프트 봇 제작 벤치마크 v0.2 공개
원제: Show HN: Gemini 4 Argon plays StarCraft
왜 중요한가
장기 추론·에이전틱 코딩 능력을 게임 환경으로 정량화한 벤치마크로, LLM 실전 성능 비교의 새 기준점이 될 수 있다.
2026년 10월 15일, StarSkirmish Bench v0.2가 공개됐다. OpenAI, Anthropic, Google, Meta의 최신 LLM 9종이 각 1시간 동안 StarCraft: Brood War용 Protoss C++ 봇을 작성해 승률로 순위를 매겼다. GPT-6 Astra가 최고 점수를 기록했으며, 최강 인간 제작 봇 대비 전 모델이 7% 이하 승률에 그쳤다.
StarSkirmish Bench는 LLM이 1시간 안에 StarCraft: Brood War용 Protoss 봇을 C++로 작성하고, 인간이 만든 경쟁 봇들과 대전해 승률(0~100)로 평가받는 벤치마크다. v0.2는 각 모델을 자사 1st party CLI 환경에서 5회 실행한 평균 승률을 점수로 삼는다.
**순위**: GPT-6 Astra가 1위로 선두를 명확히 했고, GPT-6.1 Sol이 2위. Gemini 4 Argon, Claude Opus 5.5, Claude Fable 5.1은 37~39점대로 사실상 공동 3위권이다. Muse Wonder Full은 7위에 머물렀다.
**비용 대비 성능**: GPT-6.1 Sol은 GPT-6 Astra 대비 API 비용이 10분의 1 수준이면서도 2위 점수를 기록해 가성비가 두드러졌다.
**인간 봇의 벽**: 최강 인간 제작 봇인 Stardust, PurpleWave, BananaBrain을 상대로 1위 GPT-6 Astra조차 승률 7%에 불과했다. 실제 봇 토너먼트는 이보다 훨씬 가혹한 조건이어서 포화 징후는 아직 없다.
**행동 분석**: 강한 봇과의 연습 게임 횟수가 최종 점수의 가장 강력한 예측 변수로 나타났다. GPT-6 Astra, GPT-6.1 Sol, Gemini 4 Argon은 자신의 봇이 지는 상황에서도 강한 상대와 일찍부터 연습했다. 반면 Muse Wonder Full, Claude Haiku 5.5, GPT-6 Luna는 강한 봇과 거의 연습하지 않았다.
**변동성**: Gemini 4 Argon은 5회 실행 간 최고·최저 점수 차이가 18점으로, GPT-6 Astra(9점), Claude Opus 5.5(8점)보다 훨씬 불안정했다. 기술 구현은 BWAPI 4.4.0과 OpenBW를 사용했으며, 맵은 Heartbreak Ridge, Benzene, Destination 세 곳에서 진행됐다.