ds4 : inférence locale de LLM par le créateur de Redis
Original : From the creator of Redis; run LLM locally with ds4
Pourquoi c'est important
L'inférence frontier locale sans cloud devient accessible sur hardware grand public.
DwarfStar 4 (ds4), moteur d'inférence en C signé Salvatore Sanfilippo (créateur de Redis), tourne DeepSeek V4/V4.1, GLM 5.x et Qwen3.8 localement sur Mac Apple Silicon, NVIDIA et AMD. Licence MIT.
Salvatore Sanfilippo, connu pour avoir créé Redis, publie ds4 : un moteur d'inférence écrit en C, volontairement étroit, pensé pour faire tourner des modèles frontier open-weights directement sur des machines haute mémoire. Le projet supporte DeepSeek V4 et V4.1 Flash (284 milliards de paramètres, architecture MoE), GLM 5.x et Qwen3.8 Flash, aussi bien pour le texte que la vision.
L'approche technique repose sur une quantification asymétrique 2 bits : les experts routés sont compressés agressivement, tandis que les chemins critiques partagés conservent leur précision. Résultat : le modèle tient sur un Mac 64 Go ou un DGX Spark, sans passer par un service distant.
Autre particularité : le KV cache est persisté sur SSD et indexé par hash SHA1 du prompt. Un redémarrage ne force pas le recalcul complet du préfixe. L'ensemble expose trois interfaces — CLI (./ds4), serveur API compatible OpenAI et Anthropic (./ds4-server), et agent de coding natif (./ds4-agent) — qui partagent le même état moteur et le même cache. ds4 n'est pas un runner GGUF générique : il valide chaque layout de modèle supporté contre les sorties officielles. Le code est disponible sur GitHub sous licence MIT.