Karpathy: Neural Networks — Zero to Hero · 课程总览

课程 Karpathy: Neural Networks — Zero to Hero
年份 未记录
学习类别 深度学习、LLM 与大模型
系列 id karpathy-zero-to-hero
本地课程目录 output/Karpathy/

这门课讲什么

这门课(Neural Networks — Zero to Hero)的主线是"从零手写"。第 01 讲先把神经网络和 backpropagation(反向传播)一步步摊开讲透,第 02 讲起进入 makemore 项目,用代码把语言模型一层层搭起来:从最基础的版本,到 MLP,再到 activations & gradients、BatchNorm,第 05 讲专门练成 "Backprop Ninja"(能手写反向传播),第 06 讲用这些组件拼出一个 WaveNet。后半段转向 Transformer:第 07 讲从零、在代码里拼出 GPT,第 08 讲单独讲 GPT 的 Tokenizer(分词器)。

课程侧事实里没有给出先修要求和目标人群的说明;从标题看,它面向愿意动手敲代码、想搞清楚底层原理而不是只调库的读者。学完的预期是能自己写出并训练一个小型语言模型、能推导和实现反向传播、能读懂并复现 GPT 的关键代码。

这门课怎么组织的

课程侧事实里一共记录 8 讲,全部标记为 lecture(讲授),没有嘉宾讲座、讨论课或额外 session。每周节奏、每讲时长、课程年份这些信息,课程侧事实里都没有,无法在此说明。

8 讲每讲都有录像;但讲义份数全部为 0 —— 原课程没有发布配套讲义,可用的材料就是录像本身。

本电子书系列包含什么

本系列把 Zero to Hero 的讲座内容整理成中文电子书,沿着上面那条主线,从反向传播基础一路覆盖到 GPT 与 Tokenizer;讲义中出现的英文术语保留原文,首次出现时给中文。课程日程里的 8 讲中,8 讲都已做成中文电子书。

讲次 标题 录像 讲义 电子书 备注
第01讲 The spelled-out intro to neural networks and… ✓ 无 ✗ 有 ✓
第02讲 The spelled-out intro to language modeling: … ✓ 无 ✗ 有 ✓
第03讲 Building makemore Part 2: MLP ✓ 无 ✗ 有 ✓
第04讲 Building makemore Part 3: Activations & Grad… ✓ 无 ✗ 有 ✓
第05讲 Building makemore Part 4: Becoming a Backpro… ✓ 无 ✗ 有 ✓
第06讲 Building makemore Part 5: Building a WaveNet ✓ 无 ✗ 有 ✓
第07讲 Let's build GPT: from scratch, in code, spel… ✓ 无 ✗ 有 ✓
第08讲 Let's build the GPT Tokenizer ✓ 无 ✗ 有 ✓

合计 8 个条目:8 个已做成中文电子书 ✓,0 个没有 ✗(原因见上表「备注」一列 ✓)。

本电子书系列不涉及什么

怎么用这套电子书

建议从第 01 讲开始,按讲次顺序读 —— 后面的 makemore、GPT 都建立在前面的反向传播和语言模型基础上。8 讲都有录像,最好一边看录像一边跟着敲代码,电子书当作对照和回顾用的中文材料。本系列不含作业与答案(课程侧也没有记录作业),所以练习需要自己跟着录像里的代码走。


本页怎么来的 ✗→✓:讲次清单由程序生成 ✓(讲次号、材料、电子书有无 ✓ 都来自系列表 courses/karpathy-zero-to-hero.json 与产物目录 ✓);讲解文字由模型依据系列表事实写成 ✓(没有找到课程主页的本地副本 ✗(所以这一页的讲解只依据系列表与产物目录 ✓,模型不替课程下“面向谁/学完能做什么”的结论 ✓))。 这一页相当于课程主页的中文版 ✓;课程每年都在变 ✓,以官方主页为准 ✓。