M4 Mac 24GB RAM untuk Menjalankan Model AI Lokal
Judul asli: Running local models on an M4 with 24GB memory
Mengapa Ini Penting
Menunjukkan kemampuan hardware konsumer untuk AI development mandiri tanpa cloud.
Developer menemukan konfigurasi optimal untuk menjalankan model AI lokal pada MacBook Pro M4 dengan RAM 24GB. Model Qwen 3.5-9B berhasil mencapai 40 token per detik dengan context window 128K menggunakan LM Studio.
Eksperimen menjalankan model AI lokal pada MacBook Pro M4 24GB menunjukkan Qwen 3.5-9B (4-bit quantized) sebagai model terbaik dengan performa ~40 token per detik. Setup menggunakan LM Studio dengan thinking mode enabled dan context window 128K. Konfigurasi optimal untuk coding: temperature=0.6, top_p=0.95, top_k=20. Model lain seperti Qwen 3.6 Q3, GPT-OSS 20B, Devstral Small 24B secara teknis muat di memori namun tidak praktis digunakan. Developer menguji integrasi dengan Pi dan OpenCode sebagai interface, dengan Pi terasa lebih responsif meski memerlukan konfigurasi manual lebih banyak. Setup ini memungkinkan pengembangan AI tanpa koneksi internet dan mengurangi dependensi pada platform cloud besar.