Stanford lance CS336, un cours sur les modèles de langage
Original : CS336: Language Modeling from Scratch
Pourquoi c'est important
Formation complète aux modèles de langage, domaine clé de l'IA moderne
Stanford University propose CS336, un cours complet sur la création de modèles de langage depuis zéro. Les étudiants développent leurs propres transformers, de la collecte de données au déploiement, avec 4 assignments pratiques couvrant architecture, optimisation système, mise à l'échelle et traitement de données.
Le cours CS336 de Stanford, dispensé au printemps 2026 par Tatsunori Hashimoto et Percy Liang, enseigne la création complète de modèles de langage. Inspiré des cours de systèmes d'exploitation, il couvre toutes les étapes : collecte et nettoyage des données, construction de transformers, entraînement et évaluation. Les prérequis incluent la maîtrise de Python, l'expérience en deep learning et optimisation système, ainsi que des bases en mathématiques et machine learning. Les 4 assignments pratiques couvrent l'implémentation des composants de base, l'optimisation système avec FlashAttention2 en Triton, l'étude des lois d'échelle, et le traitement de données Common Crawl. Ce cours de 5 unités met l'accent sur l'implémentation intensive avec un code minimal fourni.