LLM Diuji Tulis Bot StarCraft dalam 1 Jam
Judul asli: Show HN: Gemini 4 Argon plays StarCraft
Mengapa Ini Penting
Benchmark ini mengukur kemampuan agentic coding dan penalaran jangka panjang LLM secara objektif.
StarSkirmish Bench v0.2 menguji 9 LLM membuat bot Protoss C++ selama 1 jam. GPT-6 Astra memimpin, Gemini 4 Argon urutan ketiga dengan variansi tertinggi.
StarSkirmish adalah benchmark yang mengukur kemampuan LLM menulis bot StarCraft: Brood War dalam waktu 1 jam. Setiap model menghasilkan bot Protoss berbasis C++ menggunakan BWAPI 4.4.0, lalu bertanding melawan bot buatan manusia dan bot model lain di peta Heartbreak Ridge, Benzene, dan Destination.
Di versi 0.2 ini, GPT-6 Astra menjadi model terkuat dengan skor win rate tertinggi, diikuti GPT-6.1 Sol di posisi kedua. Gemini 4 Argon, Claude Opus 5.5, dan Claude Fable 5.1 saling bersaing di kisaran skor 37–39.
Dari sisi biaya, GPT-6.1 Sol dinilai paling efisien: skornya nomor dua, namun biaya per sesi hanya sepersepuluh dari GPT-6 Astra. Sementara itu, Gemini 4 Argon mencatat variansi tertinggi — selisih antara run terbaik dan terburuknya mencapai 18 poin, jauh di atas GPT-6 Astra (9 poin) dan Claude Opus 5.5 (8 poin).
Benchmark ini juga menemukan bahwa prediktor terkuat performa model adalah seberapa sering ia berlatih melawan 7 bot terkuat dalam roster. Namun, bot buatan manusia seperti Stardust, PurpleWave, dan BananaBrain masih jauh unggul — GPT-6 Astra pun hanya menang 7% dari pertandingan melawan mereka.