Stanford CS336 语言建模 · 课程总览

这门课讲什么

这门课围绕“从零开始做语言模型”（language modeling from scratch）展开，主线是走完开发一个语言模型的完整流程：先讲概览与分词（tokenization），再讲 PyTorch 与资源核算（FLOPs、内存、算术强度），然后进入模型架构与超参数、注意力替代方案与混合专家（mixture of experts）。接下来课程转向系统与效率：GPU/TPU、内核与 Triton、FlashAttention2、并行（parallelism）与推理（inference），并用缩放定律（scaling laws）和评测（evaluation）来指导训练与部署。后半段覆盖数据（Common Crawl 的来源、数据集、过滤、去重、混合与合成数据）以及中训练与后训练（SFT/RLHF）、后训练-RLVR、对齐与多模态（multimodality）。它面向已经熟悉 Python、PyTorch、深度学习基础和系统优化概念的学生，是一门 5 学分、实现量很大的课。学完你应能实现标准 Transformer 语言模型所需的 tokenizer、模型架构和优化器，训练一个最小语言模型，用 Triton 写 FlashAttention2，构建分布式高效训练代码，拟合缩放定律，处理原始数据，并应用 SFT/RL 与安全对齐方法。

这门课怎么组织的

课程是 Stanford / Spring 2026，讲座在周一/周三 3:00–4:20pm、Skilling Auditorium 进行，录像放在 YouTube playlist。日程主体是 17 讲常规讲座（第01–17讲），外加客座讲座：Daniel Selsam 与 Dan Fu；5 月 25 日 Memorial Day 无课。作业为 Assignment 1–5，分别覆盖 Basics、Systems、Scaling、Data、Alignment and Reasoning RL，截止日期按日程推进；这是一门 5 学分、实现量很大的课。需要注意：客座讲座在主页日程中没有列出 lecture 材料；课程侧事实只说明 Dan Fu 那场客座讲座有录像、尚未做成电子书。

本电子书系列包含什么

本电子书系列把课程侧记录的 18 个条目中的 17 个做成了中文电子书，覆盖第01讲到第17讲的常规讲座内容。每本电子书对应一讲，围绕该讲主题整理，而不是逐字翻译官方讲义。完整讲次与对应电子书清单由本页后面的程序清单给出。

合计 18 个条目：17 个已做成中文电子书 ✓，1 个没有 ✗（原因见上表「备注」一列 ✓）。

本电子书系列不涉及什么

客座讲座 Dan Fu 有录像，但尚未做成电子书；主页日程还列出 Daniel Selsam 客座讲座，课程侧条目中没有它的电子书，主页也没有给这两场客座讲座列出 lecture 材料。作业答案与参考实现不在本系列中：课程主页只公开 Assignment 1–5 的说明、截止日期、提交与荣誉守则，不公开答案。课程运营信息（Office hours、Slack、Gradescope 提交、Late days、Regrade 等）也不属于讲座内容，本系列不涉及。

怎么用这套电子书

建议从第01讲《概览与分词》开始，按第01–17讲顺序阅读，因为后面的系统、数据与后训练内容会沿用前面的术语和代码背景。每本电子书配合课程主页对应日期的 lecture 材料与 YouTube 录像使用；如果要做作业，Assignment 1–5 的说明和截止日期在课程主页的 Coursework 与 Schedule，提交在 Gradescope。作业需要自己完成，本电子书不提供答案。

本页怎么来的 ✗→✓：讲次清单由程序生成 ✓（讲次号、材料、电子书有无 ✓ 都来自系列表 courses/stanford-cs336.json 与产物目录 ✓）；讲解文字由模型译自课程主页 ✓（课程主页本地副本：.cache/cs336_home.html）。 这一页相当于课程主页的中文版 ✓；课程每年都在变 ✓，以官方主页为准 ✓。