M系Mac 2GBのRAMでGemma 4 26Bを動かすOSSエンジン公開
原題: Show HN: Open-source engine running Gemma 4 26B in 2 GB RAM on any M-series Mac
なぜ重要か
メモリ8GBの普及帯Macでも26Bクラスの大規模モデルが動作可能になり、エッジ推論の実用範囲が大幅に拡大する可能性を示す事例として注目される。
開発者のdrumih氏がGitHub上でオープンソースの推論エンジン「TurboFieldfare」を公開した。Apple Silicon搭載Macで、モデル全体（14.3GB）をメモリに載せることなく、約2GBのRAMのみでGoogle製LLM「Gemma 4 26B-A4B」を実行できる。Swift＋Metalで実装されており、8GBモデルを含む全M系MacBookに対応する。
「TurboFieldfare」は、Apple Silicon（M系チップ）搭載Macを対象に開発されたカスタム推論ランタイムで、Apache-2.0ライセンスのもとGitHubで公開されている。開発者のdrumih氏がSwiftとMetalを用いて実装した。
Googleのオープンモデル「Gemma 4 26B-A4B」は、Mixture-of-Experts（MoE）アーキテクチャを採用しており、全パラメータ数は260億、モデルファイルの総容量は14.3GBに達する。通常この規模のモデルはメモリへの全量ロードが必要とされるが、TurboFieldfareは独自のストリーミング手法を採用することでこの制約を回避している。
具体的には、共有コア（1.35GB）とFP16のKVキャッシュをメモリ上に常駐させ、各トークン生成に必要なエキスパートモジュールのみをSSDから都度読み込む仕組みを取る。これにより、使用メモリを約2GBに抑えつつ26Bパラメータモデルの推論を実現している。
リポジトリにはクイックスタートガイド、ローカルサーバー機能、ベンチマーク結果、仕組みの解説、実験記録、参考文献が含まれている。公開からまもなく574スターを獲得しており、コミュニティからのベンチマーク結果の投稿も募集している。