LLM StarCraft बेंचमार्क: GPT-6 Astra शीर्ष पर
मूल शीर्षक: Show HN: Gemini 4 Argon plays StarCraft
यह क्यों महत्वपूर्ण है
यह बेंचमार्क LLMs की दीर्घकालिक agentic coding क्षमता को एक ठोस, मापने योग्य तरीके से परखता है।
StarSkirmish Bench v0.2 में GPT-6 Astra ने सर्वोच्च स्कोर हासिल किया। Gemini 4 Argon, Claude Opus 5.5 और Claude Fable 5.1 तीनों 37-39 के बीच रहे। बेंचमार्क LLMs को 1 घंटे में C++ Protoss बॉट लिखने का काम देता है।
StarSkirmish Bench, Kai McPheeters द्वारा बनाया गया एक बेंचमार्क है जो LLMs की StarCraft: Brood War बॉट लिखने की क्षमता परखता है। v0.2 में OpenAI, Anthropic, Google और Meta के नए flagship मॉडल शामिल हैं। हर मॉडल को BWAPI 4.4.0 पर C++ में Protoss बॉट लिखने के लिए 1 घंटे का समय मिलता है, जिसे OpenBW पर खेला जाता है।
स्कोर 0 से 100 के बीच है और यह human-written बॉट्स के खिलाफ जीत दर का औसत है। GPT-6 Astra ने पहला स्थान पाया, GPT-6.1 Sol दूसरे पर रहा। लागत के लिहाज से GPT-6.1 Sol सबसे किफायती है — GPT-6 Astra की तुलना में प्रति रन लागत दसवें हिस्से से भी कम।
Gemini 4 Argon का run-to-run variance सबसे अधिक रहा: सर्वश्रेष्ठ और सबसे खराब रन के बीच 18 अंकों का अंतर था, जबकि GPT-6 Astra के लिए यह केवल 9 था। सबसे मजबूत human-written बॉट्स — Stardust, PurpleWave और BananaBrain — के खिलाफ GPT-6 Astra की जीत दर मात्र 7% रही, जो दर्शाता है कि benchmark अभी saturate नहीं हुआ है।
बेंचमार्क का सबसे मजबूत predictor यह निकला कि किसी मॉडल ने घंटे के दौरान मजबूत बॉट्स के खिलाफ कितनी practice games खेलीं। GPT-6 Astra और Gemini 4 Argon ने शुरुआत से ही कठिन बॉट्स से practice की।