Stanford大学がCS336言語モデル構築講座を2026年春に開講

Stanford大学が2026年春学期に開講するCS336「Language Modeling from Scratch」は、学生が言語モデルの全構築過程を体験する実践重視の講座だ。授業は月曜と水曜の午後3時から4時20分まで、Skilling Auditoriumで行われ、YouTubeでも配信される。

授業では4つの課題を通じて段階的に学習を進める。課題1ではTokenizer、モデルアーキテクチャ、最適化器を実装し標準的なTransformer言語モデルを訓練する。課題2ではモデルのプロファイリング、FlashAttention2のTriton実装によるAttention最適化、分散訓練の実装を行う。課題3ではモデル初期化と重み・活性化の動態を研究し、Transformerの各コンポーネント機能を理解する。課題4ではCommon Crawlの生データを事前訓練用データに変換する。

受講には高度なPythonスキル、深層学習・システム最適化経験、PyTorchの熟練度が必要だ。また線形代数、確率統計、機械学習の基礎知識も求められる。授業は5単位で実装中心のため十分な時間確保が必要とされている。