DeepSeek V3 diimplementasikan dalam 190 baris JAX
Judul asli: Show HN: DeepSeek V3 in ~200 lines of pure Jax
Mengapa Ini Penting
Bukti arsitektur frontier bisa dipelajari dan direplikasi tanpa infrastruktur GPU besar.
Pengembang Vaibhaav Tiwari membangun ulang arsitektur DeepSeek V3 — termasuk MLA, DeepSeekMoE, dan MTP — hanya dalam 190 baris kode JAX murni, dilatih di MacBook Air.
Vaibhaav Tiwari merilis repositori GitHub bernama deepseek-v3-jax yang mengimplementasikan arsitektur DeepSeek V3 dari laporan teknis resminya dalam 190 baris kode JAX tanpa dependensi framework tambahan seperti Flax, Equinox, maupun PyTorch. Parameter model disimpan sebagai dict biasa berisi array, sehingga seluruh alur model bisa dibaca dari atas ke bawah dalam satu file deepseek_v3.py.
Implementasi ini mencakup empat komponen utama: Multi-head Latent Attention (MLA) yang menyimpan satu laten kecil per token alih-alih kunci dan nilai penuh — memangkas dari 480 menjadi 144 angka per token per layer; Decoupled RoPE dengan satu rotary key bersama untuk semua head; DeepSeekMoE dengan satu shared expert yang selalu aktif ditambah 16 routed expert; serta auxiliary-loss-free balancing dan Multi-Token Prediction (MTP). Model dilatih dari awal menggunakan teks fiksi detektif domain publik langsung di MacBook Air. Tiwari juga menyertakan tulisan penjelas lengkap dengan diagram di vaibhaav.in.