5 Model Qwen3 Kecil Kalahkan Fable 5 di LiveCodeBench
Judul asli: Memdoor: A team of 5 Qwen3.8-27B models beats Fable 5 on LiveCodeBench Hard
Mengapa Ini Penting
Koordinasi multi-agen model kecil bisa menandingi model besar tunggal pada soal koding sulit.
Tim 5 model Qwen3.8-27B dalam workflow Memdoor meraih skor rata-rata 9,8/10 pada 10 soal LiveCodeBench Hard, melampaui Fable 5 yang hanya 8,0/10.
Sebuah eksperimen multi-agen bernama Memdoor berhasil mereplikasi metode GVS5H (Lee, 2026) menggunakan lima model Qwen3.8-27B berukuran kecil yang berjalan dalam satu workflow terstruktur. Lima peran dibagi: planner, dua ideator, solver, dan manager — ditambah satu repair worker. Setiap agen memulai dari konteks bersih dan berkomunikasi hanya lewat file di disk, bukan memori bersama.
Dalam lima kali percobaan pada sepuluh soal pertama LiveCodeBench Hard, workflow Memdoor mencetak 10/10 di empat dari lima percobaan dan 9/10 di satu percobaan, menghasilkan rata-rata 9,8. Harness asli penulis GVS5H pada model yang sama meraih 9,6, sementara Fable 5 yang dijalankan sendirian hanya mencapai 8,0. Seluruh 50 hasil percobaan — setiap permintaan, balasan, program, output grader, biaya per panggilan, dan host yang melayaninya — dipublikasikan di direktori bench/results/parity-5pass/. Yang menarik: file-file workflow ini ditulis sendiri oleh model dari deskripsi metode pada 25 Oktober 2026, tanpa penulisan manual oleh manusia.