DeepSeek DSec : infrastructure sandbox pour l'entraînement agentique
Original : DeepSeek Elastic Compute (DSec)
Pourquoi c'est important
L'infrastructure d'entraînement agentique à grande échelle devient un avantage concurrentiel clé pour les labos IA.
DeepSeek a publié sur arXiv un rapport technique présentant DSec (Elastic Compute), une plateforme de sandbox en production capable de gérer environ 3 millions de sandboxes par jour sur 160 nœuds, conçue pour l'entraînement à grande échelle de LLM agentiques.
DeepSeek présente DSec, une plateforme d'exécution élastique destinée à l'entraînement et à l'évaluation d'agents basés sur des LLM. Le problème central : ces charges de travail génèrent des milliers de sandboxes en rafale, nécessitent un état persistant sur de longues interactions, et puisent dans de vastes corpus d'images avec peu de réutilisation.
DSec unifie quatre types d'environnements d'exécution (FnCall, container, microVM, VM complète) via un SDK commun. La plateforme gère le placement et le cycle de vie des sandboxes à l'échelle du cluster, compose les environnements à partir de couches versionnées indépendamment, et charge les données à la demande depuis le système de fichiers distribué 3FS (Fire-Flyer File System).
Point clé de l'architecture : DSec est co-conçu avec le framework de reinforcement learning (RL). Il sépare l'exécution des rollouts avec état des tâches GPU préemptibles, coordonne le cycle de vie des sandboxes avec l'entraînement pour préserver l'état des rollouts tout en récupérant les ressources inactives, et intègre des mécanismes pour contrer le reward hacking.
En production, une unité DSec couvre environ 160 nœuds et sert près de 3 millions de sandboxes par jour, avec plus de 380 000 exécutions simultanées.