5 Qwen3 मॉडल मिलकर Fable 5 को पछाड़ा
मूल शीर्षक: Memdoor: A team of 5 Qwen3.8-27B models beats Fable 5 on LiveCodeBench Hard
यह क्यों महत्वपूर्ण है
यह दिखाता है कि छोटे open-weight मॉडल, multi-agent संरचना से, बड़े proprietary मॉडलों को competitive coding में टक्कर दे सकते हैं।
Memdoor नामक open-source workflow में 5 Qwen3.8-27B मॉडलों की टीम ने LiveCodeBench Hard के पहले 10 सवालों पर औसत 9.8/10 स्कोर किया — जबकि Fable 5 अकेले केवल 8.0/10 पर रहा।
GitHub पर प्रकाशित Memdoor workflow एक multi-agent प्रणाली है जिसमें पाँच अलग भूमिकाएँ हैं: planner, दो ideators, solver और manager। इनके अलावा एक repair worker भी है। हर agent एक नए context से शुरू होता है और केवल disk पर रखी files के ज़रिए संवाद करता है। सफलता का निर्णय कोई model नहीं, बल्कि एक shell script करती है।
यह काम GVS5H (Lee, 2026) शोधपत्र की विधि पर आधारित है। शोध के अनुसार पाँच Qwen3.8-27B मॉडल मिलकर Fable 5 के बराबर प्रदर्शन करते हैं। Memdoor workflow में लेखकों के exact prompts और loop को Qwen3.8-27B पर फिर से बनाया गया — 128K reply cap के साथ।
पाँच passes में परिणाम इस प्रकार रहे: Memdoor workflow ने 10, 10, 10, 10 और 9 — यानी औसत 9.8/10 हासिल किया। लेखकों के अपने 27B harness ने 9.6/10 और Fable 5 अकेले ने 8.0/10 स्कोर किया। सभी 50 runs के पूरे request-reply logs, program कोड, grader output और प्रत्येक call की लागत bench/results/parity-5pass/ में सार्वजनिक हैं। उल्लेखनीय है कि workflow की files खुद model ने 25 अक्टूबर 2026 को एक description से generate कीं — किसी इंसान ने हाथ से नहीं लिखीं।