Karpathy: Neural Networks — Zero to Hero · 课程总览
| 课程 | Karpathy: Neural Networks — Zero to Hero |
| 年份 | 未记录 |
| 学习类别 | 深度学习、LLM 与大模型 |
| 系列 id | karpathy-zero-to-hero |
| 本地课程目录 | output/Karpathy/ |
这门课讲什么
这门课(Neural Networks — Zero to Hero)的主线是"从零手写"。第 01 讲先把神经网络和 backpropagation(反向传播)一步步摊开讲透,第 02 讲起进入 makemore 项目,用代码把语言模型一层层搭起来:从最基础的版本,到 MLP,再到 activations & gradients、BatchNorm,第 05 讲专门练成 "Backprop Ninja"(能手写反向传播),第 06 讲用这些组件拼出一个 WaveNet。后半段转向 Transformer:第 07 讲从零、在代码里拼出 GPT,第 08 讲单独讲 GPT 的 Tokenizer(分词器)。
课程侧事实里没有给出先修要求和目标人群的说明;从标题看,它面向愿意动手敲代码、想搞清楚底层原理而不是只调库的读者。学完的预期是能自己写出并训练一个小型语言模型、能推导和实现反向传播、能读懂并复现 GPT 的关键代码。
这门课怎么组织的
课程侧事实里一共记录 8 讲,全部标记为 lecture(讲授),没有嘉宾讲座、讨论课或额外 session。每周节奏、每讲时长、课程年份这些信息,课程侧事实里都没有,无法在此说明。
8 讲每讲都有录像;但讲义份数全部为 0 —— 原课程没有发布配套讲义,可用的材料就是录像本身。
本电子书系列包含什么
本系列把 Zero to Hero 的讲座内容整理成中文电子书,沿着上面那条主线,从反向传播基础一路覆盖到 GPT 与 Tokenizer;讲义中出现的英文术语保留原文,首次出现时给中文。课程日程里的 8 讲中,8 讲都已做成中文电子书。
| 讲次 | 标题 | 录像 | 讲义 | 电子书 | 备注 |
|---|---|---|---|---|---|
| 第01讲 | The spelled-out intro to neural networks and… | ✓ | 无 ✗ | 有 ✓ | |
| 第02讲 | The spelled-out intro to language modeling: … | ✓ | 无 ✗ | 有 ✓ | |
| 第03讲 | Building makemore Part 2: MLP | ✓ | 无 ✗ | 有 ✓ | |
| 第04讲 | Building makemore Part 3: Activations & Grad… | ✓ | 无 ✗ | 有 ✓ | |
| 第05讲 | Building makemore Part 4: Becoming a Backpro… | ✓ | 无 ✗ | 有 ✓ | |
| 第06讲 | Building makemore Part 5: Building a WaveNet | ✓ | 无 ✗ | 有 ✓ | |
| 第07讲 | Let's build GPT: from scratch, in code, spel… | ✓ | 无 ✗ | 有 ✓ | |
| 第08讲 | Let's build the GPT Tokenizer | ✓ | 无 ✗ | 有 ✓ |
合计 8 个条目:8 个已做成中文电子书 ✓,0 个没有 ✗(原因见上表「备注」一列 ✓)。
本电子书系列不涉及什么
- 没有讲义的中文翻译。 这是最容易踩空的一点:8 讲的讲义份数都是 0,原课程本来就没有配套讲义,所以电子书对应的不是某份文档,而是讲座内容本身。
- 没有课程年份/版本标注。 课程侧事实里的年份为空,无法判断这是哪一年的版本。
- 没有作业、测验或期末项目的答案。 课程侧事实中完全没有记录这类内容,因此也不存在"答案要不要收"的问题 —— 确实没有。
- 没有因缺材料而做不出来的讲次。 8 讲都有录像,拿不到材料的条目列表为空。
怎么用这套电子书
建议从第 01 讲开始,按讲次顺序读 —— 后面的 makemore、GPT 都建立在前面的反向传播和语言模型基础上。8 讲都有录像,最好一边看录像一边跟着敲代码,电子书当作对照和回顾用的中文材料。本系列不含作业与答案(课程侧也没有记录作业),所以练习需要自己跟着录像里的代码走。
本页怎么来的 ✗→✓:讲次清单由程序生成 ✓(讲次号、材料、电子书有无 ✓ 都来自系列表
courses/karpathy-zero-to-hero.json与产物目录 ✓);讲解文字由模型依据系列表事实写成 ✓(没有找到课程主页的本地副本 ✗(所以这一页的讲解只依据系列表与产物目录 ✓,模型不替课程下“面向谁/学完能做什么”的结论 ✓))。 这一页相当于课程主页的中文版 ✓;课程每年都在变 ✓,以官方主页为准 ✓。