5台のQwen3モデルでFable 5超え
原題: Memdoor: A team of 5 Qwen3.8-27B models beats Fable 5 on LiveCodeBench Hard
なぜ重要か
小規模モデル5基の協調が大規模単体モデルを上回るという結果は、コスト効率の高いマルチエージェント設計の実用性を示す事例として注目に値する。
GitHubユーザーのguregodevoが公開したマルチエージェントフレームワーク「Memdoor」のワークフローが、Qwen3.8-27Bモデル5つを組み合わせてLiveCodeBench Hardの最初の10問に5パス実施した結果、平均9.8/10を記録。単体モデルFable 5の平均8.0および著者ら自身の27Bハーネスの平均9.6をいずれも上回った。全50回分の実行ログも公開されている。
「Memdoor」はディスク上のファイルを介してエージェント間が通信するマルチエージェントフレームワークで、今回公開されたワークフロー「team-solve」はプログラミング問題専用に設計されている。構成は planner・2名の ideator・solver・manager の5役割に repair worker を加えた計6ロールで、各エージェントは毎回クリーンなコンテキストから処理を開始する。合否判定はモデルではなくシェルスクリプトが行う点が特徴だ。
元となる手法は GVS5H（Lee, 2026）と呼ばれる論文で提唱されており、Qwen3.8-27Bモデル5基を使ったマルチエージェントループがLiveCodeBench Hardにおいて大規模単体モデルFable 5に匹敵する性能を示したとされる。今回の実装はその論文の著者プロンプトをそのままMemdoorワークフローとして再現したもので、著者自身いわくコードファイルはモデルが自動生成したという（2026年10月25日）。
評価はLiveCodeBench Hardの最初の10問を対象に5パス実施。Memdoorワークフローの各パス成績は10・10・10・10・9で平均9.8。著者らの元ハーネスは9・10・10・9・10で平均9.6。Fable 5単体は7・8・10・8・7で平均8.0だった。比較に用いた著者側の数値は論文リポジトリの再採点済み結果ファイル（q38_multiagent_pN、fable5_single_pN）に基づく。
モデルは128Kのリプライ上限を設定したQwen3.8-27Bを共通で使用。全50回分の実行記録（リクエスト・レスポンス・生成プログラム・グレーダー出力・コスト・ホスト情報）はリポジトリの bench/results/parity-5pass/ に収録されており、再現性を担保している。