Apple、Mac StudioでほぼT規模LLMを推論
原題: Apple ML Research: Muse Spark Open with MLX on Mac Studio
なぜ重要か
Apple siliconの統合メモリがT規模モデルのローカル推論を可能にしたことで、クラウド依存なしのプライベートAI推論という選択肢が現実味を帯びる。
Appleは2026年10月15日、オープンソースフレームワーク「MLX」の最新版をリリースし、Mac Studio 4台のクラスターでパラメータ数816BのMoEモデル「Muse Spark Open」を毎秒36トークン以上で動作させることに成功したと発表した。Thunderbolt経由のRDMAドライバーを用いた分散推論により、デスクで最前線クラスのLLMを稼働できる環境を実現した。
Appleの機械学習研究チームは、最新の「MLX」フレームワークと「RDMA over Thunderbolt」ドライバーを組み合わせ、Mac Studio上でフロンティアクラスのLLMをローカル・分散の両形態で推論する手法を公開した。
今回の主役となるモデルは「Muse Spark Open」で、総パラメータ数816B（約8160億）のMixture of Experts（MoE）アーキテクチャ。推論時に有効化されるのは42Bパラメータのみで、NVFP4精度で評価している。比較対象として、128BのMistral Medium 3.5（FP8）と27BのQwen 3.8（BF16）も測定した。
ハードウェアはM5 UltraチップとM3 Ultraチップ搭載のMac Studioを2世代比較。M5世代にはGPU Neural Acceleratorが搭載されており、行列積演算を専用ハードウェアで処理できる点が特徴だ。
分散構成は3パターンで検証した。2台のMac Studioによるパイプラインパラライゼーション（2 M5 Pipeline）、2台によるテンソルパラライゼーション（2 M5 Tensor）、そして4台によるテンソルパラライゼーション（4 M5 Tensor）。4台構成では、Muse Spark Openのデコード速度が毎秒36トークンを超え、平均的な人間の読書速度を上回ると同チームは説明している。
評価指標は、最初のトークンが出力されるまでの時間（TTFT）、生成スループット（トークン/秒）、ピーク消費電力（ワット）の3つ。コンテキストサイズは8,192と65,536の2種類で測定しており、エージェント型コーディングアプリのような大規模コンテキストを必要とるユースケースも想定している。
推論はMLX LMパッケージのコマンドラインツール「mlx_lm.benchmark」で再現可能であり、研究者や開発者が同等の環境を自前で試せるよう手順が公開されている。プライベートな環境でのLLM活用、特にエージェント体験のローカル実行が主なターゲットと位置づけられている。