LookAtMyQuant: Kompresi Model AI 12× Lebih Akurat

Judul asli: Inkling-2-Mini in 5.4 GB Memory

Mengapa Ini Penting

Efisiensi kuantisasi menekan biaya hardware untuk inferensi model lokal.

Repositori LookAtMyQuant di GitHub klaim hasilkan KL divergence 12× lebih rendah dari Q4_K_M pada ukuran file yang sama, hanya 5,4 GB.

LookAtMyQuant adalah quantization compiler open-source yang dikembangkan oleh akun GitHub ShinMegamiBoson. Proyek ini mengklaim mampu menghasilkan KL divergence 12 kali lebih rendah dibanding metode kuantisasi populer Q4_K_M, dengan ukuran file identik. Model Inkling-2-Mini dapat berjalan hanya dalam memori 5,4 GB — angka yang signifikan untuk deployment di perangkat lokal.

Repositori ini telah mendapat 424 bintang dan 19 fork sejak diluncurkan, dengan 40 commit dan 7 pull request aktif. Lisensi MIT memungkinkan penggunaan bebas. Kode mencakup berbagai modul: compiler utama, pipeline evaluasi, fine-tuning, ekspor GGUF, hingga integrasi MLX untuk perangkat Apple Silicon. Metode kerja kompiler ini berfokus pada pengukuran pentingnya setiap bagian model sebelum menentukan alokasi bit — pendekatan berbeda dari kuantisasi seragam konvensional.

Sumber

github.com — Baca artikel asli →