DeepSeek V3 recréé en 190 lignes de JAX pur
Original : Show HN: DeepSeek V3 in ~200 lines of pure Jax
Pourquoi c'est important
Montre qu'une architecture frontier peut s'enseigner sans infrastructure lourde.
Un développeur a réimplémenté l'architecture DeepSeek V3 (MLA, DeepSeekMoE, MTP) en 190 lignes de JAX brut, sans framework tiers, et l'a entraîné depuis zéro sur un MacBook Air avec de la fiction policière du domaine public.
Vaibhaav Tiwari a publié sur GitHub une réimplémentation minimaliste de l'architecture DeepSeek V3, le grand modèle de langage développé par la startup chinoise DeepSeek. Le projet tient en 190 lignes de JAX pur — aucune dépendance à Flax, Equinox ou PyTorch. Les paramètres sont de simples dictionnaires de tableaux, et chaque composant du modèle est une fonction lisible de bout en bout dans un seul fichier.
L'implémentation couvre les mécanismes clés décrits dans le rapport technique original : Multi-head Latent Attention (MLA), qui réduit le cache par token de 480 à 144 valeurs par couche ; le RoPE découplé ; DeepSeekMoE avec un expert partagé et 16 experts routés ; et l'équilibrage sans perte auxiliaire. Le tout a été préentraîné sur du texte de fiction policière en domaine public, directement sur un MacBook Air via le backend Metal de JAX.
Le projet, qui compte déjà 142 étoiles et 14 forks sur GitHub, est accompagné d'un article de blog détaillé expliquant chaque composant avec des diagrammes. L'objectif déclaré est pédagogique : rendre l'architecture de DeepSeek V3 lisible et vérifiable par n'importe quel développeur.