作业说明 · Stanford CS312《深度学习炼金术》
这门课的作业不计分，但它不是"可做可不做"的装饰：成绩的 85% 是七次 quiz， 而 quiz 允许你引用自己做过的实验拿部分分 —— 没跑过，就写不出引用。 官方原话：This assignment is ungraded, but doing the assignment will significantly assist you in obtaining partial credit on your quiz and tutorial.
官方入口（先收藏）
- 课程主页的日程表（每讲的 slides / reading / 作业链接都在这）：https://deep-learning-alchemy.github.io/#schedule
- 作业代码模板（GitHub，按分支发布）：
a1_release/a2_release/a3_release→ https://github.com/deep-learning-alchemy/assignments - 题面 PDF 直链：见每题页面（本模块的「材料」一节已存一份，原件在
_local/）
全景（已发布的三份）
| 作业 | 主题 | 截止 | 交付物 | 配套讲次 |
|---|---|---|---|---|
| A1 · Basics | 超参数、缩放律、随机性、调试 —— 把 d8 小模型当 “model organism” | 9/28（周一） | PDF writeup：每个问题 = 实验清单 + 约一段解读 | 第 2 讲（+ 第 3–4 讲） |
| A2 · Hyperparameter Scaling | LR / batch size 的一维扫描与联合 scaling；Muon / µP | 10/7（周三） | PDF ≤ 20 页（不含 bonus）：给定的实验分析 + 你自己新跑的实验 + 解读 | 第 3–4 讲 |
| A3 · Optimization 2 | 损失景观、尖锐度、edge of stability | 10/20（周二）13:00（quiz 前） | 实验报告 ≤ 20 页：对照 / 扫了什么 / 最好 val loss 与诊断 / 解读 | 第 5–6 讲 |
后续作业（A4–A7：Architecture / Generalization / Exotic）随课程发布；本模块会按同样方式补。
政策与做法（以官方 PDF 为准）
- 不计分：成绩由七次 quiz（85%）+ 小班讨论课（15%）构成；作业是 quiz 的准备。
- 提交：一份 PDF 到 Gradescope，按课程日程的截止时间。
- 每题都要两部分：① 你实际跑过的实验（超参变化、代码 diff，描述到别人不需要再解释）； ② 约一段的解读。写清楚"为什么这个结论成立"，不是只贴 loss 数字。
- A1 的 bonus：最后一题可以自己设计一道 quiz 风格的预测题（< 100 行 diff + 选择题/数值预测）； 被采用有 bonus（1% + 难度加成）。想拿 bonus 要在 Gradescope 上标注。
- 页数上限（A2/A3 ≤ 20 页）是训练取舍：哪些图必须留、哪些放附录。
算力（给自学者）
课程基线模型很小：A2 写的是 8 层 / hidden 512 / 8 头 / 4k 词表 / 约 35M 参数， 614.4M tokens、batch 64 在单张 H100 上约 15 分钟。自学者不需要 H100： 一块消费级 GPU（或云上按小时租）就够把实验跑完，但要批量跑很多次； A1 甚至可以在 CPU 上勉强跑完小规模对照（很慢，不推荐）。
怎么读这套材料
- 先读对应讲次的电子书（第 2 讲 → A1；第 3–4 讲 → A2；第 5–6 讲 → A3）；
- 打开每题页面，从上往下读官方题面的中文重构（公式是 LaTeX，代码在代码块里）；
- 用
_local/<题号>/<分支>_release.zip里的模板开工（_local/只在本地，不进书架、不外传）； - 每跑一组实验就记一行：改了什么 / 期望什么 / 实际什么 / 怎么解释 —— 写 writeup 时直接用。
本模块的题面来自官方 PDF，由
vb assignments --translate生成中文重构 + 英文原文两版； 官方原话与数字以 PDF 为准（页面右上角可以切到 EN 对照）。