Prosesor Xeon 2016 Dapat Menjalankan Model AI Gemma 4 Besar
Judul asli: A 10 year old Xeon is all you need
Mengapa Ini Penting
Membuktikan aksesibilitas AI dengan hardware lama dapat mengurangi barrier adopsi.
Point.free berhasil menjalankan model AI Gemma 4-26B pada server lama dengan Xeon E5-2620 v4 dari 2016 tanpa GPU, menggunakan 128GB RAM DDR3 dan optimisasi khusus pada llama-cli.
Eksperimen menunjukkan server berusia 10 tahun dengan spesifikasi Intel Xeon E5-2620 v4 2.10GHz, 8 core fisik 16 thread, dan 128GB RAM DDR3 mampu menjalankan model AI Gemma 4 berukuran 26B parameter. Meski RAM DDR3 5-6 kali lebih lambat dari laptop modern dan tanpa GPU, sistem berhasil berjalan dengan mengoptimalkan parameter llama-cli secara manual. Teknik yang digunakan meliputi speculative decoding, flash attention, dan berbagai flag optimisasi seperti --cpu-moe, --mlock, dan --run-time-repack. Penulis menekankan bahwa inferensi LLM dibatasi bandwidth memori, bukan kekuatan komputasi, sehingga optimisasi manual diperlukan untuk hardware lama yang tidak didukung tools seperti ollama.