Gemma 4 26BをRAM 2GBで動かすOSSエンジン登場
Judul asli: Show HN: Open-source engine running Gemma 4 26B in 2 GB RAM on any M-series Mac
Mengapa Ini Penting
低メモリ環境での大規模モデルのローカル実行可能性を示し、エッジAI推論の普及に影響を与える取り組みとして注目される。
drumihが開発したオープンソースエンジン「TurboFieldfare」が、Apple Silicon搭載Macで26Bパラメータモデル「Gemma 4 26B-A4B」を約2GBのRAMで動作させることを可能にした。
TurboFieldfareは、Swift + Metalで実装されたカスタムランタイムで、8GBモデルを含むすべてのApple Silicon Mac上で動作する。通常Gemma 4 26B-A4BのモデルファイルサイズはFull精度で14.3GBに達するが、本エンジンは1.35GBの共有コアとFP16 KVキャッシュのみをメモリに保持し、各トークン生成に必要なエキスパート層のみをSSDからストリーミングする仕組みを採用している。これによりRAMが少ないMacでも大規模言語モデルの推論が可能となる。リポジトリはGitHub上でApache-2.0ライセンスのもと公開されており、スター数は574件、フォーク数は18件を記録している。ローカルサーバー機能、ベンチマーク、実装の仕組みに関するドキュメントも提供されている。