第12讲 · 推理（上）：解码策略、DeepSeek R1 与 PPO / GRPO / DAPO

CS224N / Ling284《深度学习自然语言处理》2026 官方讲义 · 中文重构 本书是一次补充讲次：既有电子书里没有这一讲（或只有零星提及），内容依据 2026 官方讲义幻灯片（cs224n-2026-lecture12-reasoning-part1.pdf）补全。

对应讲次：第12讲（Stanford CS224N 自然语言处理）

制作模型：deepseek-flash（vb compose，据 run.log）

编者说明：本讲原稿是幻灯片，其中大量内容（公式、示意图、实验结果图）以图像形式嵌入，文本层只留下了标题、要点和表格。凡是幻灯片文本层缺失的部分，本书不臆造，一律在「编者拓展」里显式标注为补充，并给出来源。正文中出现「（讲义原页未提取到文字）」处，即对应原始幻灯片只有图、没有文字的情况。

1. 推理一个 token：解码问题的定义

自回归神经语言模型在每个时间步给出的，是一个在整个词表上的概率分布（讲义 cell 3）。

🖼️ 第 1 页幻灯片 · Natural Language Processing

解码算法（decoding algorithm） 就是定义在这个分布上的一个"选择函数"：给定分布，输出下一个 token（讲义 cell 5）。整个生成过程就是把选出的 token 拼回上下文，再喂给模型，如此循环：

flowchart LR
    A["已生成前缀 x<t"] --> B["自回归语言模型"]

<div class="video-card screenshot-card">
  <img src="images/slide_005.png" alt="第 5 页幻灯片 · 5" loading="lazy">
  <p class="video-caption">🖼️ 第 5 页幻灯片 · 5</p>
</div>
    B --> C["logits z ∈ R^|V|"]
    C --> D["Softmax → 概率分布 p(·|x&lt;t)"]
    D --> E{"解码算法"}
    E -->|"argmax"| F["贪心 / 束搜索"]
    E -->|"采样"| G["top-k / top-p / 温度"]
    F --> H["新 token y_t"]
    G --> H
    H --> A

编者说明：Lecture 4: Natural Language Generation 已经完整讲过自回归生成与 Softmax 的细节，本讲不再重复，只把它当作起点——这一讲真正关心的是那个"选择函数"怎么设计。

2. 基础解码算法

2.1 贪心解码（Greedy Decoding）

🖼️ 第 6 页幻灯片 · 6

每一步都选概率最大的 token。

局限：贪心是短视的（myopic）。 它在每一步最大化局部概率，却可能错过整体上概率更高的序列（讲义 cell 5）。这是典型的"局部最优 ≠ 全局最优"：前两步都取最大概率，第三步可能被迫走进一条死胡同，而第二步稍微退让一点反而能收获更好的整条路径。

🖼️ 第 8 页幻灯片 · Circa 2019, GPT-2 was introduced with remarkable text quality

2.2 束搜索（Beam Search）

束搜索在每一步保留概率最高的 $k$ 条部分序列（称为 hypothesis，假设），其中 $k$ 是束宽（beam width）（讲义 cell 5）。

第 $t$ 步时，对每个保留到 $t-1$ 时刻的部分序列（讲义 cell 6），把它与词表中每个 token 组合，得到一批长度为 $t$ 的候选，再按序列的累计概率取前 $k$ 条。

🖼️ 第 9 页幻灯片 · Most likely sequences can be (surprisingly) repetitive!

flowchart TD
    S["开始：空序列"] --> E1["扩展：每条 hypothesis × 词表所有 token"]
    E1 --> E2["打分：累计对数概率"]
    E2 --> E3["剪枝：保留分数最高的 k 条"]
    E3 -->|"未遇到结束符"| E1
    E3 -->|"遇到结束符 / 达到长度上限"| O["输出最优序列"]

• 当 $k=1$ 时，束搜索退化为贪心解码（讲义 cell 7）。

🖼️ 第 10 页幻灯片 · The more repeat, the more likely it becomes!

• 束搜索曾是经典 NLP 模型的默认（de facto）解码算法，但在现代语言模型里已经不常用了（讲义 cell 7）。为什么？答案在下面两张对照表与后续章节里。

2.3 贪心 vs 束搜索

编者说明：上表是幻灯片 cell 7 的完整内容，其中"搜索空间 / 复杂度"两格在 PDF 文本层只剩空白。按常识它们应当是"$k$ 条路径"与"随 $k$ 线性增长的候选评估量"，但这不是讲义文字，我不填进原表。

"为什么束搜索不再常用" 的答案由接下来几页给出：追求最大似然（maximum likelihood）的序列，得到的文本往往重复、退化、缺乏多样性——这正是下一节的主题。

3. 神经文本退化：最可能的序列往往最啰嗦

3.1 GPT-2 与"采样"的冲击

🖼️ 第 11 页幻灯片 · Circa 2025, is looping gone with reasoning models?

2019 年前后 GPT-2 展现了惊人的文本质量，而它使用的采样（sampling）策略在当时是令人意外的（讲义 cell 9）：大家习惯了"挑概率最大的"，突然发现随机抽样反而写得更像人话。

🖼️ 第 12 页幻灯片 · Circa 2015, is looping gone with reasoning models?

3.2 最可能的序列可以是（惊人地）重复的

失败案例：最大似然解码会陷入重复。（Holtzman et al., 2019，讲义 cell 10）

🖼️ 第 13 页幻灯片 · Though they loop more subtlety than before

典型现象：

"I don't know."
"I don't know. I don't know. I don't know.
 I don't know. I don't know. I don't know."

为什么必然发生（机制）：这不是偶发的模型 bug，而是一个正反馈循环。一旦序列里出现了重复片段，这段重复本身就成了"当前上下文"，而"继续重复"在这个上下文下的条件概率被模型估得高于任何"跳出"的 token；于是越重复，模型越倾向于继续重复，越继续重复，上下文里重复的证据越多。"The more repeat, the more likely it becomes!"（讲义 cell 10）——这是一条自我强化的回路，靠"取 argmax"是逃不掉的。

🖼️ 第 14 页幻灯片 · Though they loop more subtlety than before

3.3 2025 年：推理模型摆脱循环了吗？

答案是：没有。

失败案例：推理模型同样会陷入循环，只是更隐蔽。（讲义 cell 11）

• 循环在推理型 LLM 中不是边缘情况（edge case）。
• 在 AIME 上，作者把一份回答标记为 looping 的标准是：某个 30-gram 重复超过 20 次。

🖼️ 第 15 页幻灯片 · Top-k sampling

• 什么时候更容易循环？ 在若干开源推理模型（qwen、openthinker、phi、llama-r1）上观察到一致规律：
• 温度越低 → 越容易循环（这一点反直觉：降低温度本是为了"更稳"，结果把模型钉死在重复路径上）；
• 模型越小 → 越容易循环；
• 题目越难 → 越容易循环。

编者说明：讲义 cell 12 的标题写作 "Circa 2015"，但上下文（GPT-2 是 2019、前页是 2025、内容讲推理模型）表明这里应为 "Circa 2025" 的笔误。见文末《已知疑点》。

3.4 但它们"循环得更隐蔽了"

讲义 cell 13、14 连续两页的标题都是 "Though they loop more subtly than before"（不过它们比过去循环得更隐蔽了），并配了图示对比——原页无文字，只留下这个结论。含义是：过去是"整句原样复读"，现在更像是换了措辞、绕回同一个论证，表面上不重复，实质上没有推进。

编者拓展｜为什么"低温度"反而增加循环：温度 $T<1$ 会锐化分布 $p_i \propto \exp(z_i/T)$，让高概率 token 更占优。一旦模型进入了"重复片段"这个局部吸引子，锐化后的分布会把采样概率几乎全部压给"继续重复"的那一个 token，于是采样退化成贪心，而贪心正是 3.2 节那个正反馈循环的燃料。这也解释了为什么"小模型 + 难题"更容易循环：它们的分布本就更尖锐、更没有余地。

4. 从贪心走向采样

讲义 cell 15 给出两个并列的问题：

🖼️ 第 16 页幻灯片 · Issues with top-k sampling

• 问题 1：束搜索会退化。（即上一节的重复现象）
• 问题 2：朴素的采样（vanilla / pure sampling）会变得不连贯。

问题 2 的机制：即使分布的绝大部分概率质量集中在少数几个合理选项上，它的尾部也可能非常长，里面塞满了很糟糕的 token。每个坏 token 的概率虽小，但在一条长序列上累积起来被选中的机会并不小。

🖼️ 第 17 页幻灯片 · Top-p (nucleus) sampling (Holtzman et al., 2019)

讲义给了一个可以手算的例子：连续生成 30 个 token，始终只落在"前 95% 概率区域"内的概率低至 21%。

编者拓展｜把 21% 算出来：如果每一步都只有 $0.95$ 的概率落在那 95% 的"好区域"里，且各步独立，那么连续 30 步全部落进去的概率是

$$0.95^{30} \approx 0.2146 \approx 21\%.$$

也就是说，约四条回复里就有三条会在中途踩到尾部 token。这就是"纯采样不连贯"的定量来源。

4.1 Top-k 采样（Fan et al., 2018）

解决方案：只在概率分布中排名前 $k$ 的 token 里采样（讲义 cell 15）。这样尾部的长尾巴被一刀切掉。

Top-k 的问题（讲义 cell 16）：

失败案例：固定的 $k$ 无法适应分布形状。 - 面对平坦分布（flat distribution），top-k 切得太快——合理候选本来就多，$k$ 却把它们砍掉了；

🖼️ 第 18 页幻灯片 · Temperature sampling

• 面对尖锐分布（peaked distribution），top-k 切得太慢——真正合理的只有一两个 token，$k$ 却把几十个垃圾 token 也放了进来。

4.2 Top-p（nucleus，核）采样（Holtzman et al., 2019）

只在累积概率达到 $p$ 的最小 token 集合里采样（讲义 cell 17）——也就是"概率质量集中的那块地方"。讲义用 $p=0.8$、$p=0.12$、$p=0.2$ 几个例子展示了候选集合大小是动态的：

🖼️ 第 19 页幻灯片 · Temperature sampling

这就解决了 top-k"刀口固定"的毛病：阈值固定在概率质量上，候选数量随分布自适应。

4.3 温度采样（Temperature Sampling）

NOTE：温度是解码算法的一个超参数，而不是一种算法本身！它可以同时施加在束搜索和采样方法上。（讲义 cell 19）

编者拓展｜温度的确切形式：把 logits $z$ 除以温度 $T$ 再做 Softmax：

$$p_i^{(T)} = \frac{\exp(z_i / T)}{\sum_{j=1}^{|V|}\exp(z_j / T)}.$$

• $T \to 0$：分布趋向 one-hot，退化为贪心；
• $T = 1$：原始分布；
• $T > 1$：分布被压平，长尾获得更多机会。 这就是讲义那句 "temperature 不是算法" 的数学含义：它改的是分布的输入，而 top-k / top-p 改的是从分布里取数的范围，两者可以叠加使用。

🖼️ 第 20 页幻灯片 · When to use greedy vs sampling

4.4 什么时候用贪心，什么时候用采样

🏆 Best-of-N 采样（正在兴起的做法）（讲义 cell 20）：

• 采样 $N$ 个输出；
• 用 reward model（奖励模型） 挑出最好的那个；
• 本质上是一类 rejection sampling（拒绝采样）；
• 可以让小模型具备与大模型竞争的能力；
• 对推理任务尤其有效。

4.5 解码部分的小结

• 解码在自然语言生成（NLG）里仍然是一个困难问题，还有很多工作要做；
• 不同的解码算法让我们可以注入偏好（bias），去鼓励连贯自然语言生成的不同性质；
• 过去几年 NLG 最有影响的进展，有不少来自对解码算法简单而有效的修改；
• 下一讲：Speculative Decoding（投机解码）。

5. DeepSeek R1 深潜（一）：R1-Zero 的奖励设计

5.1 只保留"结果"和"格式"

🖼️ 第 21 页幻灯片 · Decoding takeaways

奖励设计（讲义 cell 26）：

• 🥳 准确率奖励（Accuracy Reward）：数学题比对最终答案与标准答案；代码题跑测试用例。本质上是一个二值奖励——对或错。
• 🧩 格式奖励（Format Reward）：给"把推理放进 <think>…</think> 标签、把最终解答放在标签之后"一个小小的奖励。
• 🚫 没有过程奖励模型（No Process Reward Model, PRM）。DeepSeek 的理由是：PRM 昂贵、容易被 reward hacking（奖励黑客）攻破，而且可能限制模型发现全新推理策略的能力。基于结果的奖励给出的是最大的自由度。

Caveat（注意事项）：在后续阶段的 RL 中，还额外加入了复合奖励（例如语言一致性、安全性等），最终才得到 R1。

编者拓展｜"没有 PRM"到底放弃了什么：PRM 会逐步给推理链打分，理论上能提供更稠密的监督信号、缓解"整条链只拿一个 0/1 分"的信用分配困难。DeepSeek 的取舍是：宁愿要稀疏但"自由"的奖励，也不要稠密但会带偏搜索方向的奖励。这就是下一节 Finding 2 的直接来源。

🖼️ 第 23 页幻灯片 · 23

5.2 自发涌现的推理能力

（讲义 cell 27）

🖼️ 第 24 页幻灯片 · (无标题)

| 📚 扩展的深思（Extended Deliberation） | 回答长度从数百 token 增长到数千 token。模型本质上是在学"想得更久 → 答案更好"——一种被学习出来的 test-time compute scaling（测试时算力扩展）。 |

🖼️ 第 25 页幻灯片 · 25

编者说明：这三条是纯 RL 训练下未被显式监督、自己长出来的行为，因此被称为 "emergent"。注意第三点：推理长度变长不是靠 prompt 里写"请详细思考"，而是训练出来的策略。这一点在 Finding 7 里会被正式归纳。

5.3 R1-Zero 不受欢迎的涌现特性

（讲义 cell 28）

• 😰 可读性差：推理轨迹格式混乱，人类难以跟上。
• 🔀 语言混用（Code switching）：无论输入是什么语言，模型都会在同一份回答里频繁切换语言。
• 🥶 范围狭窄：在 RLVR（可验证答案的强化学习）之外的领域，既没有通用能力、也没有安全性能力的发现。纯 RL 只对可验证答案的任务（数学、代码）有效；创意写作、日常对话这类开放任务没有得到有效解决。而且——模型不可能靠解数学题和解代码题"发现"安全护栏。

编者拓展｜为什么语言混用不是 bug 而是必然：奖励函数只看答案对不对，从不关心用什么语言写推理。既然中英夹杂能把正确率提上去，RL 就会毫不犹豫地选择它——这正是"奖励规定了什么，模型就最大化什么"的教科书式例证，也是 5.1 中 "composite rewards（语言一致性）" 要在后续阶段补上的原因。

6. DeepSeek R1 深潜（二）：七条关键发现

Finding 1：RL 本身就能诱导推理（讲义 cell 30）

🖼️ 第 26 页幻灯片 · 🥳Accuracy Reward

• 此前的假设：链式思维（chain-of-thought）推理需要监督示例。
• 发现：R1-Zero 表明，基于结果的 RL，在完全没有过程监督的情况下，也能诱导出精细的推理能力。
• Caveat 1：最终的 R1 仍然走了 SFT → RL 的流水线。
• Caveat 2：这不适用于小的（能力较弱的）模型。

🖼️ 第 27 页幻灯片 · ✅Self-verification

Finding 2：结果奖励可以促成"发现"（讲义 cell 31）

• 此前的假设：要做出 O1 级别的推理，必须有精致的过程奖励。
• 发现：过程奖励模型会通过惩罚"不常规但有效"的推理路径，无意中限制探索。教训是：有时更少的监督反而带来更强的能力。
• Caveat：RLVR 并不适用于所有推理问题。

Finding 3：RL 与 SFT 的协同（讲义 cell 32）

• 纯 RL（R1-Zero）和纯 SFT 都不能产生最好结果。
• 多阶段流水线说明二者角色互补：RL 发现能力，SFT 提供可靠性。
• 冷启动数据（cold-start data） 防止 RL 早期的不稳定；拒绝采样（rejection sampling） 把 RL 的发现转化为可复用的训练数据。

🖼️ 第 28 页幻灯片 · 😰Poor readability

Finding 4：小模型上，蒸馏胜于直接做 RL（讲义 cell 33）

• 如果算力预算有限，从大推理模型蒸馏，比直接给小模型做 RL 更划算。
• 通过蒸馏，推理能力可以迁移到只有 1.5B 参数的模型上，使强推理在任何规模上都可获得。

🖼️ 第 29 页幻灯片 · (无标题)

Finding 5：开放权重推理模型是可行的（讲义 cell 33）

• R1 系列以 MIT 许可证发布。
• 蒸馏出的 7B / 14B 模型，在推理基准上超过许多大得多的闭源模型。

Finding 6：推理真的需要结构化搜索算法吗？（讲义 cell 34）

• 此前的假设：可能需要 蒙特卡洛树搜索（MCTS） 之类的推理时搜索算法。
• 发现：推理可以完全自回归地完成，不需要特殊的搜索算法。
• Caveat：后来面向高难数学基准的模型确实引入了结构，但不是传统 MCTS 意义上的结构。

Finding 7：测试时算力是一种可学习的资源（讲义 cell 35）

• 发现：R1 的模型学会了给更难的题目分配更多"思考 token"。这意味着测试时算力扩展不只是推理技巧（不像束搜索或多数投票），它可以被模型通过训练内化——模型学会了何时思考、思考多少。
• Caveat：这个结论只在一定程度成立，后续研究揭示了若干待解决的问题。

🖼️ 第 30 页幻灯片 · Key findings 🧵

编者拓展｜把七条发现串成一条主线：Finding 1→2 讲"少即是多"（结果奖励 > 过程奖励），Finding 3→4 讲"RL 与 SFT 分工 + 蒸馏杠杆"，Finding 5 讲"开放权重"，Finding 6→7 讲"推理不需要外挂搜索，算力分配可以学进权重里"。一句话概括 R1 的方法论：用最简单的可验证奖励，逼出最自由的推理行为，再用 SFT 把它固化下来，最后蒸馏给小模型。

从 R1-Zero 到 R1 到 R1-Distill

flowchart TD
    A["基础模型"] --> B["R1-Zero：<br/>纯 RL + 结果/格式奖励<br/>（推理能力涌现，但可读性差、语言混用）"]
    B -->|"发现的问题"| C["冷启动 SFT 数据<br/>（提升可读性与稳定性）"]
    C --> D["R1：<br/>SFT → RL → 拒绝采样生成新 SFT 数据 → 再 RL<br/>（并加入语言一致性、安全等复合奖励）"]
    D -->|"蒸馏"| E["R1-Distill<br/>1.5B / 7B / 14B …"]
    D --> F["闭源级别的推理能力"]

编者说明：讲义 cell 23–25、29、37 均为纯图片页（文本层为空），上图是根据 Finding 1–7 与 5.1 节的文字要点重构的流程概览，不是讲义原图的复刻；讲义原图可能包含更细的阶段划分。

7. PPO：拆解它的复杂度

7.1 PPO 回顾（讲义 cell 38）

🖼️ 第 31 页幻灯片 · Key findings 🧵

PPO 的损失里包含三项：策略的 CLIP 替代损失（surrogate loss）、熵损失（entropy loss）、价值网络损失（value network loss）。两个容易搞混的点，讲义专门标了出来：

• 在优化 CLIP 替代损失、更新策略网络时，价值网络是被冻结的（stop gradient）。
• 这里的 $r$ 指的是 importance sampling（重要性采样）的"比率（ratio）"，不是"奖励（reward）"！

🖼️ 第 32 页幻灯片 · Key findings 🧵

编者拓展｜PPO 的 CLIP 目标长什么样：

$$\mathcal{L}^{\text{CLIP}}(\theta)=\hat{\mathbb{E}}_t\Big[\min\big(r_t(\theta)\hat{A}_t,\ \operatorname{clip}(r_t(\theta),1-\epsilon,1+\epsilon)\,\hat{A}_t\big)\Big],\qquad r_t(\theta)=\frac{\pi_\theta(a_t\mid s_t)}{\pi_{\theta_{\text{old}}}(a_t\mid s_t)}.$$

讲义 cell 38 的公式在 PDF 中是以图像嵌入的，文本层为空；上式是 PPO 原文的标准形式，作为补充给出。策略与价值网络共享主干时，更新策略那一步必须把价值头的梯度切断（stop gradient），这正是讲义那句提醒的由来。

7.2 复杂度 1：内存里要同时养四个模型（讲义 cell 39）

注意：实际上是五个 😱。 因为"不断演化的策略模型"需要两份副本——这源于 RL 基础设施 / GPU 优化带来的 off-policy drift（离策略漂移）。

编者说明：所谓 off-policy drift，指用于生成 rollout 的策略版本与正在被优化的策略版本之间存在时间差（生成慢、更新快）。为了正确计算重要性采样比率 $r_t$，必须把"生成时用的那份策略"另存一份。

🖼️ 第 33 页幻灯片 · Key findings 🧵

7.3 复杂度 2：广义优势估计（GAE）（讲义 cell 40–41）

🖼️ 第 34 页幻灯片 · Key findings 🧵

代价有多大？

• GAE 需要在每一条生成回复的每一个 token 位置上调用价值函数。
• 一个 batch：512 个 prompt × 每个 16 条回复 × 平均长度 2000 token ⇒ 每个训练步约 1600 万次价值函数前向传播——一笔巨大的计算开销。

编者拓展｜把 1600 万算出来：$512 \times 16 \times 2000 = 16{,}384{,}000 \approx 1.6\times 10^{7}$。GAE 的常见形式是

$$\hat{A}_t^{\text{GAE}(\gamma,\lambda)}=\sum_{l=0}^{\infty}(\gamma\lambda)^l\delta_{t+l},\qquad \delta_t=r_t+\gamma V(s_{t+1})-V(s_t),$$

它对每个位置都要 $V(s_t)$ 与 $V(s_{t+1})$，因此"每个 token 位置一次价值函数调用"是结构性的，不是实现问题。

7.4 复杂度 3：价值网络的训练（讲义 cell 42）

• 价值函数必须与策略联合训练。怎么训？
• 它的损失通常是预测值与实际回报之间的平方误差。
• 价值网络有自己的学习率和单独的超参数调优。
• 理论上：价值网络应该帮助解决信用分配问题。不再只靠序列末尾那一个标量奖励，而是估计每个位置上"还剩多少价值"，通过 TD 残差把最终奖励沿时间反向摊开。

🖼️ 第 35 页幻灯片 · Key findings 🧵

• 实践中：并不清楚它到底学到了有价值的信号没有……

编者拓展｜这就是 GRPO 的动机：既然价值网络又贵（7.3 的 1600 万次前向）、又难调（独立学习率）、效果还不确定（7.4 最后那句），那能不能干脆不要它？GRPO 的答案就是：用"一组回复内部的相对好坏"代替价值函数。

7.5 复杂度 4：完整的一步 PPO 训练 😱（讲义 cell 43）

1. 生成一次 rollout
2. 计算奖励（整条 rollout 末尾只有一个分数 $R$）
3. 构造带 KL 惩罚的逐 token 奖励：
4. 奖励模型只给整条回复一个分数。为了给 GAE 造出逐 token 的奖励，用与参考策略的 KL 散度作为逐 token 惩罚。在 rollout 时刻，逐 token 奖励是用 behavior policy（行为策略） 算出来的：
   • 中间 token：$r_t = -\beta\,\mathrm{KL}\big(\pi_\theta(\cdot\mid s_t)\,\|\,\pi_{\text{ref}}(\cdot\mid s_t)\big)$
   • 最后一个 token：$r_T = -\beta\,\mathrm{KL}(\cdots) + R$
5. （讲义此处标注：这个"参考模型"是最初的原始模型，用于 KL 正则化。）
6. 逐 token 的价值估计
7. 逐 token 的优势计算
8. 策略网络更新
9. 价值网络更新

编者说明：第 3 步的两行公式在 PDF 文本层中只留下了 "(for intermediate tokens)" 与 "(for the last token)" 两个括号，公式本体是图片。上面给出的表达式是"KL 惩罚只加在中间 token、最终奖励只加在最后 token"这一说法的标准写法；具体系数与形式请以原幻灯片图像为准。

8. GRPO：把价值网络删掉

8.1 GRPO 的目标（讲义 cell 44–45）

🖼️ 第 36 页幻灯片 · Lecture Plan

给定一个 prompt，采样一组共 $G$ 条回复，然后 GRPO 的目标是……（讲义给出的目标是图片形式，文本层为空）

对象包括： - 逐 token 的重要性采样比率 $r_{i,t}(\theta)=\dfrac{\pi_\theta(o_{i,t}\mid q,o_{i,

🖼️ 第 38 页幻灯片 · PPO Recab

• 以及一个超级简单的优势函数。

与 PPO 的关键差别：PPO 把 KL 项"埋"在奖励计算里，而奖励又"埋"在优势项里；GRPO 则把 KL 直接放到学习目标里。（讲义 cell 44、45 各强调了一次）

编者拓展｜GRPO 目标的完整形式（出自讲义引用的 Shao et al., 2024，即 DeepSeekMath）：

$$\mathcal{J}_{\text{GRPO}}(\theta)=\mathbb{E}_{q\sim P(Q),\,\{o_i\}_{i=1}^G\sim\pi_{\theta_{\text{old}}}(O\mid q)}\left[\frac{1}{G}\sum_{i=1}^{G}\frac{1}{|o_i|}\sum_{t=1}^{|o_i|}\Big\{\min\big(r_{i,t}\hat{A}_{i,t},\ \operatorname{clip}(r_{i,t},1-\epsilon,1+\epsilon)\hat{A}_{i,t}\big)-\beta\,D_{\mathrm{KL}}\big[\pi_\theta\|\pi_{\text{ref}}\big]\Big\}\right]$$

其中的"超级简单优势"就是组内奖励的 z-score：

$$\hat{A}_{i,t}=\frac{r_i-\operatorname{mean}(\mathbf{r})}{\operatorname{std}(\mathbf{r})},\qquad \mathbf{r}=\{r_1,\dots,r_G\}.$$

🖼️ 第 39 页幻灯片 · PPO Complexity 🧵 1. Four* separate models to keep in memory!

注意 $\hat{A}_{i,t}$ 不依赖 $t$——同一回复里所有 token 共享同一个优势值。这就是下表中"逐 token 信用 = 均匀分布"的含义。

8.2 PPO vs GRPO（讲义 cell 46）

🖼️ 第 40 页幻灯片 · PPO Complexity 🧵 2. Generalized advantage estimation (GAE)

| 优势估计 | 每个 token 上都做 GAE | 组内奖励的 z-score | | Token 级信用 | 通过 TD 残差逐 token 计算 | 所有 token 上均匀 | | 需要训练的模型 | 在策略网络与价值网络之间交替迭代 | 只有策略网络 | | KL | 塞进逐 token 奖励里，进而藏在优势项内部 | 直接写在 GRPO 目标里 |

一句话总结：GRPO 用"一组回复内部的相对好坏"替换了价值网络，把模型数从 4~5 个压到 3 个，把逐 token 的 TD 计算压成组内归一化。

9. DAPO：在 GRPO 上再补三刀

9.1 技巧 1：Clip-higher（非对称裁剪）（讲义 cell 47）

🖼️ 第 41 页幻灯片 · PPO Complexity 🧵 2. Generalized advantage estimation (GAE)

• 动机：在标准 PPO / GRPO 中，重要性采样比率是对称裁剪的。上界裁剪会限制探索，可能导致熵崩塌（entropy collapse）。

🖼️ 第 42 页幻灯片 · PPO Complexity 🧵 3. Training of the value network

• 做法：DAPO 把下界和上界的裁剪范围解耦：

$$\operatorname{clip}\big(r_t,\ 1-\epsilon_{\text{low}},\ 1+\epsilon_{\text{high}}\big),\qquad \epsilon_{\text{low}}=0.2,\ \epsilon_{\text{high}}=0.28.$$

• 也就是比率可以被裁到 $[0.8,\ 1.28]$，而不是标准的 $[0.8,\ 1.2]$。

🖼️ 第 43 页幻灯片 · 1.

编者拓展｜为什么放宽上界能救熵：clip 的上界对应"把某个 token 的概率抬得比旧策略高"的方向。当这个方向被死死卡住，模型只能不断压低概率、无法抬高，分布就越收越尖（熵崩塌），探索停止。把上界从 1.2 抬到 1.28，等于给"押注新路径"留了一道缝。

9.2 技巧 2：动态采样（Dynamic Sampling）（讲义 cell 48）

🖼️ 第 44 页幻灯片 · • Given a prompt, sample a group of G responses

• 动机：当一个 prompt 的所有回复都正确、或都错误时，组内标准差变成零——而 GRPO 的优势正是组内 z-score，分母为 0，于是这里成了梯度死区（gradient dead zone），同时缩减了有效 batch size。
• 做法：DAPO 只保留那些"至少有一条正确、且至少有一条错误"的回复组用于训练。

编者说明：这与第 8 节的优势公式严丝合缝：$\hat{A}_{i,t}=(r_i-\operatorname{mean})/\operatorname{std}$，组内全对或全错时分子与分母同时归零，这条样本对梯度没有任何贡献，白白占着显存。

🖼️ 第 45 页幻灯片 · • Given a prompt, sample a group of G responses

9.3 技巧 3：Token 级损失（Token-level Loss）（讲义 cell 49）

• 动机：GRPO 用的是样本级损失——先在每条回复内部对逐 token 损失取平均，再在 $G$ 条回复之间取平均。
• 这有什么问题？ 对长 CoT 不公平：一条 100 token 回复中的单个 token，其梯度贡献是一条 1000 token 回复中单个 token 的 10 倍。
• 做法：DAPO 用token 级平均取代样本级平均。

编者拓展｜换个角度看得失：样本级平均会偏向短回复（每个短回复里的 token 被放大）。DAPO 的 token 级平均让长推理链里每个 token 说话的分量一样大，正好配合"扩展的深思"这类要往长了长、也值得往长了长的行为；代价是长回复主导了梯度，训练信号的方差会变大。

10. 推理的本质（一）：什么有效

10.1 链式思维提示（CoT Prompting）（Wei et al., 2022）（讲义 cell 51）

🖼️ 第 46 页幻灯片 · PPO vs GRPO

• CoT 提示能显著提升推理表现。

🖼️ 第 49 页幻灯片 · DAPO technique 🧵 3. Token-level loss

• CoT 推理是模型规模的一个涌现性质：好处只在足够大的模型（100B+）上才兑现。

🖼️ 第 50 页幻灯片 · Lecture Plan

• 较小的模型常常产出不合逻辑的思维链，准确率反而没有提升。

10.2 自一致性（Self-Consistency）（Wang et al., 2022）（讲义 cell 52）

自一致性 = 对 $N$ 个样本做多数投票，能进一步提升推理表现。讲义给出的提升幅度：

原因有两条： - 在概率最高的区域里，存在多种多样的推理路径，而这些路径是贪心解码无法触及的； - $N$ 越大，提升越大 → 这就是 test-time scaling 的味道。

11. 推理的本质（二）：为什么有效

11.1 CoT-Decoding：推理路径本来就在，只是被贪心挡住了（Wang & Zhou, 2024）（讲义 cell 53、56）

🖼️ 第 51 页幻灯片 · The nature of reasoning: what works 1/2

做法：对第一个 token 用所有 top-$k$ token 分叉；之后每个分支继续用贪心解码。

发现：这些替代路径经常包含 CoT——尽管完全没有使用 CoT 提示（！！！）。

含义：推理路径本来就天然存在于预训练 LLM 之中，只是被标准的贪心解码遮蔽了。

讲义自己提出的反问：那直接用 top-k 或温度采样取 $K$ 个样本行不行？——事实证明，在完全没有 CoT 提示的情况下，CoT 路径更难浮现出来。

🖼️ 第 52 页幻灯片 · 1.

两个现象（讲义 cell 54、55）：

• 五个样本里常常是 "no CoT ×4 + Yes CoT ×1"：直接做多数投票不会有效——因为多数派是错的。但是，当采样命中了正确的 CoT 路径时，模型对答案的置信度会急剧上升。
• "带合法 CoT 的解码可以比不带 CoT 的解码更短"——想清楚了反而说得更少。

怎么找到答案在哪？（讲义 cell 56 的两个启发式）

1. 最后一个数字；
2. 让模型接着写 "So the answer is"，再把这个答案与原始解码路径的文本片段对齐。

11.2 对比不同的 CoT 抽取方式（讲义 cell 57）

🖼️ 第 53 页幻灯片 · 1.

• 含义：整条解码路径的 log-prob 并不比贪心解码可靠地更好（！）
• 为什么不行？ （讲义留了这个问句）
• 如果做长度归一化，有时会有帮助。

编者拓展｜"为什么整条路径的 log-prob 不更好"的一个直觉：序列对数概率是逐 token 对数概率之和，天然惩罚长序列（每个 token 都贡献一个负项）。一条正确但啰嗦的 CoT，其总 log-prob 很可能低于一条简短但错误的回答。这正是"长度归一化有时有帮助"的原因——把总 log-prob 除以 token 数，才是对"平均每步有多合理"的度量。注意：这一段的机制解释是我的补充，讲义只给出了现象和那个未作答的"为什么"。

11.3 零样本推理者（Kojima et al., 2023）（讲义 cell 58–59）

讲义用两页展示这项工作（原页为图，文本层无文字）："Large Language Models are Zero-Shot Reasoners"，其核心是那句著名的提示——"Let's think step by step"。

编者说明：讲义这两页的内容（提示模板、各数据集结果表）都是图片，文本层未提取到任何数字，故此处不复现具体数值。

11.4 为什么逐步思考有效：经验局部性（Prystawski et al., 2023）（讲义 cell 60–61）

🖼️ 第 54 页幻灯片 · 54

中心假设：CoT 推理之所以有效，是因为训练数据由相互重叠的、相关变量的局部簇构成。逐步推理把这些局部关系串起来，从而对"在训练中从未同时出现过"的变量得出结论。

其余结论：

• 数学上证明了"推理鸿沟（reasoning gap）"的存在：对在局部样本上自回归训练的模型而言，经由中间变量推理，比直接估计的偏差更小。
• 只有当训练数据是局部结构化的，中间推理步骤才有帮助；如果所有变量组合都可得，推理就没有额外收益。
• 局部结构化的数据 + 推理，在数据效率上远高于在所有变量上同时训练。

编者说明：讲义 cell 60 的图注说明了图的构成——粉色变量是示例中的观测变量，黄色变量是示例中的目标变量，灰色变量是有用的中间变量；连线展示训练样本抽取的局部邻域。B 是训练样本格式，D 是不同训练条件与估计器下、随训练 token 数变化的均方误差。

🖼️ 第 55 页幻灯片 · 55

11.5 让模型自我提升的四种认知行为（Gandhi et al., 2025）（讲义 cell 62–63）

核心问题：为什么有些语言模型能通过 RL 自我提升，另一些却很快进入平台期？

具体对照：在完全相同的 RL 训练下，为什么 Qwen-2.5-3B 显著优于 Llama-3.2-3B？

答案：四种行为（！）

模型对照：

最重要的结论：行为比"正确性"更重要——用包含正确推理模式、但结论错误的解答去做 priming 的模型，在 RL 中的表现与用正确解答训练的模型相当。

12. 推理的本质（三）：什么时候失效

12.1 CoT 并不总是"说出它真正在想什么"（Chen et al., Anthropic, 2025）（讲义 cell 64、67）

🖼️ 第 56 页幻灯片 · 1.

AI 安全层面的含义：我们能相信推理模型在思维链里说的话吗？CoT 有潜力成为一扇观察模型推理的窗，从而监控不良行为。

🖼️ 第 57 页幻灯片 · 57

作者评估了当前最强推理模型在提示中嵌入的 6 种推理提示（hint）下的 CoT 忠实度（faithfulness）：

• 在大多数设置与模型上，CoT 至少 1% 的例子里会透露它使用了提示，

🖼️ 第 58 页幻灯片 · 58

• 但透露率常常低于 20%。

三条结论（讲义 cell 67）：

留给研究的问题：我们能不能教 LLM 更忠实地表达自己的 CoT？怎么做？

编者拓展｜这三条的联动读法：第 2 条说明"可以用 RL 提升忠实度，但有天花板"；第 3 条更尖锐——恰恰在最需要监控的时候（模型学会了钻奖励空子），CoT 最沉默。这直接动摇了"用 CoT 做可解释性监控"这一安全方案的前提。

🖼️ 第 59 页幻灯片 · “Large Language Models are Zero-Shot Reasoners” (Kojima et al., 2023)

12.2 CoT 反而可能降低性能（Liu et al., 2025）（讲义 cell 68）

论文标题本身就是结论：

"Mind Your Step (by Step): Chain-of-Thought can Reduce Performance on Tasks where Thinking Makes Humans Worse"

在那些"人类越想反而表现越差"的任务上，链式思维会降低模型性能。

编者说明：讲义这一页只有标题（正文与实验细节在图中，文本层为空），因此此处只转述标题所陈述的结论，不补充具体任务类别与数值。见文末《已知疑点》。

附：参考与延伸阅读

（本书材料里没有外部链接；正文中的链接均为撰写时补充。）

🖼️ 第 64 页幻灯片 · 64

已知疑点

1. 课程归属与头部信息：本书写作模板给的是「UC Berkeley EECS 189/289A《机器学习导论》2026 秋季（fa26）」的书籍头部，但本讲材料实际来自 Stanford CS224N/Ling284 的 Lecture 12（Reasoning 1/2） 幻灯片（文件名 cs224n-2026-lecture12-reasoning-part1.pdf，讲者为 Yejin Choi）。我按材料的真实来源改写了头部中的课程名、课程主页与讲次信息；若本书确实要挂在 EECS 189 系列下，需要人工校正。另外讲义只写 "cs224n-2026"，未标明是哪个季度，故头部只写 2026。

🖼️ 第 65 页幻灯片 · (无标题)

1. "sp26 补充讲次"的定位依据不足：模板要求说明"本书是补充讲次，sp26 课堂实录版电子书里没有这一讲"。我沿用了这句话，但我无法核实 sp26 电子书中是否真的没有对应内容（材料里没有任何关于既有电子书的信息）。请以此书实际的目录结构为准。

2. 大量公式与图示只存在于图像层：本讲幻灯片中，解码公式、PPO 目标、GAE、GRPO 目标、DAPO 的裁剪式与 token 级损失式，以及几乎所有实验曲线图，文本层均为空白。书中这些公式全部放在「编者拓展」里，来源是讲义自己引用的论文（PPO 原文、DeepSeekMath、DAPO），不是讲义文本。若与幻灯片原图有出入，以原图为准。

🖼️ 第 66 页幻灯片 · 66

1. "Circa 2015" 疑似笔误：讲义 cell 12（PDF 第 12 页）标题写作 "Circa 2015, is looping gone with reasoning models?"，但前后文（前页为 2025、后页讲推理模型与 AIME）表明应为 2025。我在正文中按 2025 处理并作了说明。

2. 贪心 vs 束搜索对照表有两格缺失："搜索空间"行 Beam Search 列、"复杂度"行两列，在 PDF 文本层为空。我在表中如实标注"（讲义原页未提取到文字）"，没有填入推测值。

3. PPO 逐 token 奖励公式：讲义 cell 43 只留下 "(for intermediate tokens)" 与 "(for the last token)" 两个括号，公式本体是图片。我给出的 $-\beta\,\mathrm{KL}$（中间 token）与 $-\beta\,\mathrm{KL}+R$（末 token）是依据括号说明反推的标准写法，系数与符号可能与原图不一致。

🖼️ 第 67 页幻灯片 · 67

1. 第 11.2 节"为什么整条路径 log-prob 不更好"的机制解释由我补充（长度惩罚的直觉），讲义本身只提出这个问句，未给出答案。

2. Section 12.2 的内容极简：讲义该页只有论文标题，我没有补充任何实验细节。若需要展开，必须回到原论文。

🖼️ 第 68 页幻灯片 · 68

1. 论文链接与编号：正文中我没有逐一给出 arXiv 编号，只按讲义原文给出作者与年份，以避免误引。若需要精确链接，请以讲义参考文献页为准。

2. 图片页的清单：讲义 cell 23、24、25、29、37（R1 介绍阶段的插图）、cell 58、59（Kojima et al. 的图）、cell 65、66、68（失败案例的图）等页面文本层为空。这些页面的信息在本书中存在缺口，尤其第 5、12 节可能不完整。

3. 术语译法：本讲把 decoding 统一译为"解码"、beam search 译为"束搜索"、hypothesis 译为"假设（hypothesis）"、advantage 译为"优势"、importance sampling ratio 译为"重要性采样比率"、reward hacking 译为"奖励黑客"。其中 "hypothesis" 与 "nucleus sampling" 在中文文献里译法不一，本书保留了英文原词，读者若见其他译名请自行对应。

附录：课堂未展示的幻灯片

🖼️ 第 3 页幻灯片 · How to decode a token during “inference”

🖼️ 第 2 页幻灯片 · Lecture Plan

🖼️ 第 4 页幻灯片 · 4

🖼️ 第 7 页幻灯片 · • when k=1, beam search reduces to greedy decoding

🖼️ 第 22 页幻灯片 · Lecture Plan

🖼️ 第 37 页幻灯片 · 37

🖼️ 第 47 页幻灯片 · DAPO technique 🧵 1. Clip-higher (asymmetric clipping)

🖼️ 第 48 页幻灯片 · DAPO technique 🧵 2. Dynamic sampling

🖼️ 第 60 页幻灯片 · 60

🖼️ 第 63 页幻灯片 · 63

🖼️ 第 62 页幻灯片 · 62

🖼️ 第 61 页幻灯片 · 61