13年前のXeonでGemma 4 26Bを毎秒5トークン動作
मूल शीर्षक: Running Gemma 4 26B at 5 tokens/sec on a 13-year-old Xeon with no GPU
यह क्यों महत्वपूर्ण है
GPU不要・低コストのレガシーサーバーで最新LLMを実行できることが実証され、ローカルAI推論の可能性が大きく広がる。
Ryan Findley氏が2013年製のHP StoreVirtual（dual Xeon E5-2690 v2、GPU無し）上で、GoogleのGemma 4 26B混合エキスパートモデルを約5.2トークン/秒で動作させることに成功。総コスト300ドル以下のハードウェアを使用。
Ryan Findley氏（Neomind Labs）は2026年6月8日、13年前の旧式サーバーでGoogleのオープンウェイトモデルGemma 4 26Bを実行することに成功したと発表した。使用ハードウェアはHP StoreVirtualを再利用したもので、dual Intel Xeon E5-2690 v2（Ivy Bridge、2013年製）、DDR3メモリ、GPUなし。取得コストは300ドル未満。動作速度はデコードが約5.2トークン/秒、プロンプト評価が約16トークン/秒で、量子化方式はQ8_0を使用。
この実験のきっかけは、「2016年製Xeonがあれば十分」というHacker Newsで話題になった記事。同記事ではik_llama.cppを使い投機的デコードやCPU対応MoEルーティングなどの技術が活用されていた。しかしFindley氏の環境ではIvy BridgeがAVX2・FMA3命令セットに非対応（Haswellから搭載）のため、そのままでは動作しなかった。
解決にはAI Claude を活用。Claudeがパフォーマンスクリティカルなカーネルを解析し、AVX2非対応CPUでもフォールバックできるよう最適化パスを書き直した。パッチはikawrakow/ik_llama.cpp#2138としてプルリクエスト中。Findley氏は「AIを使いこなす本当のスキルとは、モデルを問題に向けて正しく使い、答えの正確さを判断できること」と述べている。