StarSkirmish v0.2 : GPT-6 Astra domine les bots StarCraft
Original : Show HN: Gemini 4 Argon plays StarCraft
Pourquoi c'est important
Mesure rare du raisonnement à long terme et du codage agentique des LLMs.
StarSkirmish Bench v0.2 évalue 9 LLMs sur leur capacité à coder un bot StarCraft: Brood War en 1h. GPT-6 Astra arrive premier avec le meilleur taux de victoire ; Gemini 4 Argon, Claude Opus 5.5 et Claude Fable 5.1 sont à égalité entre 37 et 39 points.
StarSkirmish est un benchmark atypique : chaque LLM dispose d'une heure pour écrire, en C++, un bot Protoss pour StarCraft: Brood War via BWAPI 4.4.0 et OpenBW. Le score reflète le taux de victoire moyen sur 5 runs contre un roster de bots humains compétitifs.
Version 0.2 intègre les nouveaux flagships d'OpenAI, Anthropic, Google et Meta. GPT-6 Astra prend la tête, nettement devant GPT-6.1 Sol. Gemini 4 Argon, Claude Opus 5.5 et Claude Fable 5.1 forment un peloton groupé (37–39 points). Côté rapport qualité-prix, GPT-6.1 Sol se distingue : deuxième au classement pour environ un dixième du coût par run de GPT-6 Astra.
L'analyse comportementale des agents révèle que le meilleur prédicteur de score est le nombre de parties d'entraînement jouées contre les 7 bots les plus forts du roster. GPT-6 Astra, GPT-6.1 Sol et Gemini 4 Argon adoptent cette stratégie dès le début, même quand leurs bots perdent encore. Gemini 4 Argon présente toutefois une variance élevée : 18 points d'écart entre son meilleur et son pire run, contre 9 pour GPT-6 Astra.
Face aux meilleurs bots humains (Stardust, PurpleWave, BananaBrain), même GPT-6 Astra ne gagne que 7 % de ses parties. Le benchmark est loin d'être saturé.