第16讲 · Stanford CS336 语言建模从零开始 | 2026 春季 |：后训练 —— 可验证奖励的强化学习（RLVR）
视频 [Stanford CS336 Language Modeling from Scratch
视频 ID dIFAi87Ws4E
时长 约 76 分钟（4550 秒）
本讲主题 在指令微调（Instruction Tuning）与 RLHF 之后，如何用可验证奖励（Verifiable Rewards）做强化学习，把模型训练成能长时间"思考"、能解难题的推理模型。

对应讲次：第16讲（Stanford CS336 语言建模）

制作模型：deepseek-flash（vb compose，据 run.log）

说明：本书是对课堂口语的重构，加入了少量编者补充（均以「编者说明 / 编者拓展」标注），并保留了讲师本人的类比、案例与推理过程。

导览

(参考时间: 00:00:05 – 00:03:15)

这一讲是后训练两讲的第二讲。上一讲以一句"沮丧的话"收尾：RLHF 因为过度优化（overoptimization）而无法真正发挥强化学习的潜力。这一讲要回答的核心问题，正是由那句沮丧的话直接引出的。

① 老师真正提出的问题（按他自己的顺序）

  1. 既然 RLHF 的奖励模型会被过度拟合、无法持续投入算力，那有没有一类奖励是"值得投入无限算力"的？——他希望我们把目光投向可验证奖励（RLVR）。
  2. 为什么 AlphaGo 这类"RL 原生"领域能让 RL 大放异彩，而 RLHF 不行？他给出的区分是：搜索问题 vs 学习问题。
  3. RLVR 用什么算法？——他花了大半节课讲 PPO → GRPO 的演变，并强调 GRPO 是当前开源社区的事实标准。
  4. 这些算法在真实发布的模型里长什么样？——他用三份技术报告（DeepSeek R1、Kimi K1.5、Qwen 3 / Qwen3 Coder Next）来验证"第一部分讲的东西如何反映在真实发布里"。

② 编者预判的读者疑问（编者预判）

（这些未必是老师当场提出的，但初学者很可能会带着它们进来。）

③ 难点在哪

④ 本讲路线

先讲算法（PPO 为什么难用 → GRPO 怎么简化它，以及 GRPO 的两个"修正项"带来的副作用），再讲三个真实模型案例：DeepSeek R1（最干净的配方与蒸馏洞见）→ Kimi K1.5（数据、课程、长度控制）→ Qwen 3 / Qwen3 Coder Next（完整流水线与智能体 RLVR，以及"奖励可被黑"的警示）。最后收束到一句话：RLVR 的本质是奖励工程，"可验证"只是相对的。

一、为什么 RLHF 之后还需要 RLVR

(参考时间: 00:00:48 – 00:03:06)

1.1 上一讲留下的"沮丧"：overoptimization

上一讲结束时，老师留下了一个略显低落的判断：RLHF 并不足以把我们带到想去的地方。原因是一个叫过度优化（overoptimization）的问题：

而这显然不是强化学习应有的潜力。如果你是一个"RL 信徒"，你会立刻想到 AlphaGo 这类案例——在那里，RL 真正做到了惊人的事情。

1.2 从 AlphaGo 看差距：搜索问题 vs 学习问题

老师在 AlphaGo 与 RLHF 之间做了一个关键区分：

在 AlphaGo 里，我们优化的正是我们真正想要的东西。 围棋的胜负条件是精确的，没有一丝含糊（没有任何 sloppiness）。因此你可以往里灌任意多的算力；只要目标改进，你就是真的在变好。 而 RLHF 中的奖励模型是一个"含糊定义"，你越优化它，越可能偏离真实目标。

他用一个不完全精确但很有启发的说法概括这个区别：

编者拓展｜为什么"可验证"能打破标注瓶颈 RLHF 的信息流是：人类偏好 → 奖励模型 → 策略梯度。奖励模型是一层有损的代理，容量有限，所以在"策略不断优化、奖励模型固定不变"的拉锯中，策略最终会找到奖励模型的漏洞而不是真实目标。 可验证奖励（RLVR）则把"评判"这一步交给一个确定性的程序：数学题对答案、代码跑单测、证明过编译器。只要这个程序的判定是二值的、近乎不可篡改的，那么奖励模型就等价于真值，"过度优化"这一问题就暂时被绕开了。这也是本讲把 RLVR 视为 RLHF 的"升级路径"的原因。

这就是本节的核心动机：算法层面可能差别不大，但终点会变得出人意料地不同。

本讲分为两部分：

  1. 核心算法：这是基础知识，作业里你会用到；重点讲 PPO 是什么、GRPO 是什么。
  2. 案例分析：翻开源发布，展示第一部分的算法如何映射到它们的技术报告里。

二、核心算法（上）：PPO —— 通吃但难驯

(参考时间: 00:03:46 – 00:13:10)

2.1 一切从策略梯度开始

讨论语言模型的强化学习，绕不开 PPO。老师坦言："即便我们已经讲过一次，PPO 还是足够让人困惑，值得讲第二遍。"

要记住的最重要的一件事是策略梯度（policy gradient），尤其是它那个 reinforce 梯度技巧。我们始终在做的事情，本质上是对奖励做梯度下降，方法是取加权后的 SFT 更新——只是权重可能为正、也可能为负：

$$ \nabla_\theta J(\theta) = \mathbb{E}\left[\, \nabla_\theta \log \pi_\theta(a \mid s)\cdot R \,\right] $$

编者说明：这条式子会在本讲中反复出现，它是后面 PPO、GRPO 一切推导的出发点。可以这样理解它："如果某个动作带来了正奖励，就提高它的对数概率；带来负奖励，就降低它的概率。"

但策略梯度有个麻烦：每走一步梯度，就要重新从策略里采样。为了让一次 rollout 产生多个梯度步，历史上出现了 TRPO、PPO 等方法。

PPO 伪代码（来自 OpenAI Spinning Up 教程）

📷 PPO 伪代码（来自 OpenAI Spinning Up 教程）
回到原视频 (00:04:05)

(参考时间: 00:04:11)

老师引用的是 OpenAI Spinning Up 里的 PPO 伪代码。单看伪代码，PPO 其实非常简洁：

  1. 采样若干轨迹（trajectories）；
  2. 用任意一种优势估计方法计算优势（advantage）；
  3. 用一种"略显奇怪但可以接受"的方式裁剪（clip）优势；
  4. 在被裁剪的优势下更新策略；
  5. 再拟合一个价值函数（value function）。

PPO 是强化学习的主力算法（workhorse），在非常困难、高维动作空间与状态空间里表现优异。早期 OpenAI 的一系列工作（包括 OpenAI Gym 里让人走路的演示）都靠它，其中最戏剧化的展示是他们用 PPO 训练的 OpenAI Five 机器人。

2.2 麻烦之处：实现细节与不稳定

问题在于，只要往前走几步，PPO 就会露出真面目。老师提到那篇骇人的博客文章——《PPO 的 37 个实现细节》（The 37 Implementation Details of Proximal Policy Optimization）——"看到这种标题，你心里应该发怵"，因为它意味着这个算法对实现决策高度敏感，不同库、不同实现会给出完全不同的数字。

PPO 的 37 个实现细节（博客截图）

📷 PPO 的 37 个实现细节（博客截图）
回到原视频 (00:07:02)

更糟的是，很多人把 PPO 实现错了，甚至有人写论文指出：某些人用的 baseline 根本不构成 baseline，它从根本上改变了自己要优化的目标。

老师回忆了他学生的一个真实经历：一位学生做 RLHF 项目、实现 PPO，花了很久才让它跑通。他翻看代码后发现：

编者说明：The 37 Implementation Details 那篇博客列举的正是这类"看起来无关紧要、删掉就崩"的工程怪招。老师的意图不是告诉你"必须这么写"，而是提醒你：RL 算法的实现是敏感而琐碎的，因为你面对的是梯度估计的高方差与众多可动的部件。

PPO 用于语言模型时的完整数据流示意

📷 PPO 用于语言模型时的完整数据流示意
回到原视频 (00:07:55)

老师评价这张图是"一张极好的、真实的 PPO 语言模型工程图"：

2.3 价值模型的代价

PPO 不受待见的另一个原因，是它需要一个价值模型来估计每个 token 处的价值。这个价值模型有多大？——和原模型一样大。这就白白吃掉了你本可以用来跑模型或推理服务器（inference server）的显存。

此外，PPO 论文里那个广义优势估计（GAE）本来会用到 $\gamma$ 折扣和每个 token 的价值函数，但实践中人们常常直接取 $\gamma = \lambda = 1$——这是一个退化设置，会把问题又退回到 bandit 形式，从而丢掉了 PPO 本该带来的结构。

编者拓展｜GAE 与 $\gamma=\lambda=1$ 的含义 GAE 用一组折扣系数在"高偏差、低方差"和"低偏差、高方差"的优势估计之间做权衡：

$$A_t^{GAE(\gamma,\lambda)} = \sum_{l=0}^{\infty} (\gamma\lambda)^l \,\delta_{t+l},\qquad \delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$$

当 $\gamma=\lambda=1$ 时，$( \gamma\lambda )^l = 1$，上面的加权就退化为"把整段未来的奖励差额简单相加"，优势估计完全依赖价值函数 $V$ 的质量。换句话说：当折扣/自举全部关闭，你得到的优势是与时序结构脱钩的"总回报 - 基线"，此时价值模型的作用被削弱，PPO 相对朴素策略梯度的优势也随之减少。

2.4 DPO 为什么不能解决一切

"上一讲你告诉我们 DPO 看起来不错，为什么不用 DPO 做所有事？"

老师的回答是：DPO 是针对一个非常具体问题的非常具体的解。它擅长成对反馈（pairwise feedback）、Bradley-Terry 比较形式的偏好数据。但这太特殊了：

至于"DPO 是离线的、PPO 是在线的"这个区分，老师认为被夸大了：只要反复迭代 DPO，它也可以变得在线。

本节的结论：实现 PPO 可能相当痛苦、需要各种 hack 来稳定训练；虽然很多大实验室有成熟的"一键式"PPO 方案，但对从零实现的研究者来说，PPO 就是又挑剔又麻烦。

三、核心算法（下）：GRPO

(参考时间: 00:13:15 – 00:25:57)

3.1 走出 PPO：社区的强烈愿望

和 DPO 一样，研究界非常不愿意使用 PPO。DPO 和 GRPO 能被广泛采纳，本身就说明了"让 PPO 跑起来"有多痛苦。GRPO 就像 DPO：它是做可验证任务 RL 的更简单路径，在开源知识社区里基本已经接管了 RLVR。

GRPO 来自 DeepSeekMath 论文。它的思路是：从 PPO 出发，但换掉最复杂、最恼人的那部分——价值函数。

3.2 核心思想：用组内 z-score 替代价值函数

价值函数原本是用来做基线（baseline）、降低梯度方差的。既然不想要价值网络，又不想退回方差极高的 vanilla reinforce，那该怎么算优势？

GRPO 的答案：在一个组（group）内计算 z-score 作为优势。

正常的做法是：用价值函数预测一个分数，再看实际得分比预测高还是低。例如"价值网络说你应该得 5 分，你得了 6 分，说明这是一个好 rollout。"

GRPO 则换成：你有一批 rollout，看自己相对于同一批其余 rollout 的均值有多好。如果比均值高，优势就为正。

编者说明：这里的"组"通常来自同一个 prompt 的多次采样。你可以对同一道题采样 $G$ 个回答，比较它们之间的相对好坏——这恰好非常契合"一个 prompt、多个解"的可验证任务场景。

GRPO 目标函数（DeepSeekMath 论文原版定义）

📷 GRPO 目标函数（DeepSeekMath 论文原版定义）
回到原视频 (00:15:25)

GRPO 的优势定义：

$$ A_i = \frac{r_i - \operatorname{mean}(\{r_1, r_2, \dots, r_G\})}{\operatorname{std}(\{r_1, r_2, \dots, r_G\})} $$

也就是：取组内 rollout 的奖励，减去均值、除以标准差，得到每个组的 z-score。

3.3 GRPO 的目标函数

GRPO 整体上仍然是 PPO 更新的形式——带 min-clip 的优势项加上 KL 项（保持与参考模型接近）。但有一个重要的观察：

在在线（online）情形下，裁剪（clipping）直接消失了。因为此时 $\pi_{\theta_{old}}$ 与 $\pi_{\theta}$ 的比率恒为 1，clip 算子从不生效。

于是目标简化为：

$$ \min\big(A_i,\ A_i\big) = A_i $$

即："优势减去 KL 惩罚"。在在线 rollout 情形下，GRPO 是一个非常简单的、目标明确的 RL 对象。

GRPO 的伪代码也很短（老师引用了一份 McGill 的玩具实现）：

# 简化版 GRPO 单步（示意）
for prompt in batch:
    outputs = [policy.generate(prompt) for _ in range(G)]   # 采样 G 个 rollout
    rewards = [reward_fn(prompt, o) for o in outputs]        # 每个 rollout 的奖励

    mean_r = mean(rewards)
    std_r  = std(rewards) + 1e-4                             # 加小量防止除零
    advantages = [(r - mean_r) / std_r for r in rewards]     # 组内 z-score

    for o, A in zip(outputs, advantages):
        A = A.detach()                                       # stop_grad：优势不回传
        logp = policy.log_prob(o)                            # 当前策略对数概率
        logp_ref = ref_policy.log_prob(o)                    # 参考策略对数概率
        kl = logp - logp_ref                                 # 逐 token KL（近似）
        loss = -(A - beta * kl).mean()                       # RL 目标 + KL 正则
        loss.backward()

编者说明：这份伪代码里唯一与论文略有不同的是在标准差里加了一个 $10^{-4}$，用来防止"只有一个样本"或"所有样本奖励恰好相同"时标准差为零、结果爆炸——在可验证任务里这非常常见（比如一道数学题全员答错，奖励全为 0）。

3.4 GRPO 不是第一性原理：两个"修正项"

接下来的这段是全讲的核心概念。

回到经典的 reinforce-with-baseline：

$$ \nabla_\theta J = \mathbb{E}\Big[\nabla_\theta \log \pi_\theta(a\mid s)\cdot (R - B)\Big] $$

教科书允许你减掉任意一个"状态相关的基线 $B$"——在 bandit 世界里，"状态"就是 prompt，所以可以有一个 prompt 相关的基线。只要你保持这个形式，你就仍然在朝奖励的同一个方向下降，只是方差会因 $B$ 的选取而不同。

但现在仔细看 GRPO 做了什么：

老师用了整整一段强调：

除以标准差破坏了 baseline 的契约。 如果"严格按算法写明的去做"，GRPO 并不是在直接下降奖励目标。

此外还有一个实现细节同样值得警惕：GRPO 几乎按 token 做了归一化——它除以序列总长度。但如果你从 policy gradient 与 baseline 定理出发去严格推导，你是不会得到长度归一化，也不会得到标准差归一化的。

编者说明：因为标准差的尺度依赖同一组里的奖励分布，$A_i$ 不再满足"$\mathbb{E}[\nabla_\theta \log \pi \cdot B] = 0$"的基线恒等条件，所以它改变了真实的梯度目标。此后有人写了论文指出：如果去掉这两处"修正"，训练行为会截然不同——而且往往是正向的。（这与后面 Dr. GRPO 的讨论相对应。）

3.5 副作用一：长度归一化让模型"胡说八道"

用最朴素的推理就能看出长度归一化的毛病：

反过来看正面情形：对于正确答案，长度归一化会鼓励把思维链缩短。这本身是好事（省推理成本），但如果缩短会损害正确率，就得不偿失。老师还指出：正确答案的思维链有一个下界——你不可能把解题过程压到无限短。

所以长度归一化的净效果是：在错误样本上制造"越错越长"的动机，这显然不是我们想要的。

编者补充（呼应提问）：有同学当场追问——"对正确情形，长度归一化到底做什么？"老师的回答是：对正确情形它是鼓励变短的，这对推理成本有利，但如果会因此降低正确率就是坏事；但由于正确答案的思维链天然有下界，它缩不了太多，所以问题不大。真正被它带偏的，是那些错误答案。

Dr. GRPO 关于输出长度的对照图（正确长度 vs 错误长度）

📷 Dr. GRPO 关于输出长度的对照图（正确长度 vs 错误长度）
回到原视频 (00:39:34)

老师随后展示了一张更干净的对照图（来自 Dr. GRPO 的工作，Understanding R1-Zero-Like Training）：纵轴是平均输出长度，可以清楚看到"被带偏的是错误答案"——这正是上面推理所预测的结果。

3.6 副作用二：标准差归一化抬高了"过难"和"过易"的题

这一项更微妙：

结论：标准差归一化会同时把"过易"和"过难"的题加权。这似乎不是我们想要的——我们希望模型在它可解的区间（solvability range）内学习。

编者说明：把这两项副作用合起来看，就能理解为什么后续会有 Dr. GRPO 之类的"去掉标准差归一化、去掉长度归一化"的改良版出现。老师在这里的用意是让你批判性地看待一个"看起来很简单"的算法：GRPO 的简洁是用正确性换来的。

3.7 小结

GRPO 的核心卖点：

但它不是从第一性原理严格推导出来的，带有两个会改变优化目标的工程修正项。

四、案例一：DeepSeek R1

(参考时间: 00:26:34 – 00:40:20)

4.1 起点：一个社会现象级的工作

R1 被老师称为"一个社会现象"，因为它第一个匹配上了 OpenAI o1 的行为——超长思维链、明显经过了 RL、在困难数学题上表现出色。更关键的是，它给所有人提供了一份任何人可复现的 RL 配方：

编者说明：这里的"任何人都能复现"正是它影响力巨大的原因——本课程的作业也让你亲手实现并复现 R1-Zero 式的效果。

4.2 R1-Zero：极简配方

DeepSeek R1 / R1-Zero 的流水线示意

📷 DeepSeek R1 / R1-Zero 的流水线示意
回到原视频 (00:31:58)

R1 家族中有一支非常干净的支线——R1-Zero。它的做法是：

  1. 从一个基础模型（当然，它本身已经过中期训练，具备一定的指令跟随能力）出发；
  2. 几乎不做后训练，直接在它上面跑 RLVR；
  3. 奖励用 GRPO 计算，分为两部分：
  4. 准确性奖励（accuracy reward）：是否正确解出了一道数学题；
  5. 格式奖励（format reward）：要求模型用正确的 thinking 标签包裹思维链——这一步很重要，因为后续要靠它把思维链"剥出来"。

这个配方非常简单：GRPO 简单、准确性奖励简单。你在作业里基本上会复现这一套结果。

但它带来了什么？——一个仅比 o1 稍弱的模型。老师很喜欢这个结果，因为它没有把真实生产流程里那些乱七八糟的东西掺进来，你不需要纠结"到底是 RLHF 帮忙还是别的什么"，就是"基础模型 + GRPO"。

另一个关键差异：R1-Zero 抛弃了 DeepSeekMath 中效果不错的过程监督（process supervision），改用纯结果监督（outcome supervision）。

编者说明｜过程监督 vs 结果监督 - 结果监督（outcome supervision）：只对最终答案对错给奖励； - 过程监督（process supervision）：对中间步骤逐步给出评分（rubric），检查每一步推理是否有效。 DeepSeekMath 时代一度有人认为过程监督很重要，但 R1 的结果表明：对很多事情来说，过程监督不是关键，而结果奖励数据可扩展性更好。

4.3 R1：把零件组装成产品

R1 与 R1-Zero 的区别，主要是把系统产品化。老师强调，R1 的价值在于能让你看到各个部件是如何拼起来的：

常见的组装方式大致是：

graph TD
    A[基础模型 / 中期训练模型] --> B[推理训练<br/>reasoning training]
    B --> C[长上下文扩展<br/>long context extension]
    C --> D[RLHF<br/>最面向用户]
    D --> E[成品模型]

    B -.-> B1[可能还有针对特定任务的分支]

几点值得注意：

4.4 "顿悟时刻"与"越思越长"是否真的了不起？

R1 之所以火，部分是因为论文里宣称观察到了一些有趣现象：

  1. 越训练、思维链越长；
  2. 某个引爆社交媒体的"顿悟时刻（aha moment）"——模型经过足够训练后仿佛瞬间"开窍"。

老师对此明确表达了保留意见：

编者说明：老师并不是在贬低 R1，而是在训练你分辨"现象"与"因果"。一个现象被写成论文的卖点，不代表它一定是算法的功劳。

4.5 蒸馏洞见

R1 的最后一个洞见是蒸馏：你可以把 R1 的思维链拿去做蒸馏，例如喂给 Qwen 2.5，就能显著提升这些模型的表现，有时甚至能匹配很多专门的思考模型。也就是说：

编者拓展｜RL 与 SFT 的关系再认识 老师提出了一个很值得思考的问题：真的所有能力都需要 RL 吗？ 一种看法是：RL 是一种绝佳的"监督生成器"。解前沿数学题时，你根本没有现成的详细长思维链可标注；RL 让你自举（self-generate）出这种监督信号。但一旦有人生成了这些长思维链，你可以转而用模仿学习（SFT）从中学到东西。很多蒸馏结果从侧面印证了这一点。

4.6 关于失败实验：诚实的技术报告

老师特别欣赏 DeepSeek 的技术报告风格——既做消融、也告诉你哪些路没走通：

老师说，他非常想强调这一点：他们很坦诚地讲述了这些探索和失败——而不是假装"我们从没试过"。这比把"成功"包装成理所当然更值得学习。

五、案例二：Kimi K1.5

(参考时间: 00:40:20 – 00:55:32)

5.1 为什么要专门讲 Kimi

Kimi K1.5 与 R1 差不多同时发布，也击败了 o1，但知名度却远不如 DeepSeek。老师讲它不是因为同情，而是因为：它把事情做得与 DeepSeek 很不一样，而这两种做法都能 work，本身就很有信息量。读遍技术报告，你会大致摸清"哪些空间是能让算法跑通的"。

Kimi 的贡献：

5.2 数据与课程：难度是 RL 的额外维度

在 SFT 里，你基本不太考虑难度——数据一股脑地喂进去，模型被迫从中学。而在 RL 里，难度变成了一个额外的关键变量：

$$ \text{题目太难} \Rightarrow \text{没有奖励} \Rightarrow \text{没有信号} \Rightarrow \text{学不到东西} $$

所以在 RL 里，广泛的、合适难度的覆盖至关重要。Kimi 的做法包括：

这条"过滤太容易"的思路在很多 RL 论文里出现；更进一步，你可以两头过滤——去掉太难的、也去掉太容易的——只留下中等难度的题。研究界的普遍共识是：如果你想看到 RL 稳步推进，这种"中等难度过滤"非常有效。

（与 DeepSeek 一样，报告里没有讲 SFT 数据是怎么来的，只能推测。）

5.3 一个 DPO 式推导，却落到和 GRPO 相似的地方

Kimi K1.5 的目标函数与推导

📷 Kimi K1.5 的目标函数与推导
回到原视频 (00:44:34)

Kimi 的出发点与所有人一样：

$$ \max_\pi \; \mathbb{E}\left[r(x, y)\right] - \beta D_{KL}\!\left(\pi \,\|\, \pi_{ref}\right) $$

即"最大化策略下的期望奖励，同时用 KL 正则保持与基础策略（或上一轮策略）接近"。

然后他们走DPO 式推导：

  1. 假设可以对上述目标做解析最大化，然后解出与之对应的奖励模型。解出的表达式是两个策略的比率；
  2. 把它代回原目标；
  3. 此时他们想做的事情变成"去匹配这个奖励模型"，希望某个等式在最小值点成立；
  4. 于是他们采用一个很大的启发式（heuristic）："既然在最小值点这两者相等，那我们就把这个等式差平方、再最小化平方损失，不就行了吗？"

老师对此的评价很生动：

"做优化的人看到这个可能会被吓到。" 但这其实是一个相当合理的直觉——我们知道当模型足够好时这两者应当接近，所以把"让两者显式接近"当作一个 surrogate（替代目标）也未尝不可。

关键结论：这条推导路径与 GRPO 非常不同（它不走 PPO 那条路），但对它求梯度后，你得到的东西意外地像 GRPO：

$$ \nabla_\theta \;\sim\; \mathbb{E}\Big[\nabla_\theta \log \pi_\theta(a\mid x)\cdot \big(r - \bar{R}\big)\Big] \;+\; \text{额外的正则项（约等于 KL 项）} $$

其中 $\bar{R}$ 就是每个小组（每个 $x$ 条件）下的均值。

编者说明：这正是本小节最有价值的观察——你从完全不同的路径出发，最后却"重新发明"了组均值归一化的基线。这说明"用组均值当基线"这件事本身有很强的内在合理性，而不是 GRPO 独有的巧合。

5.4 长度控制：把"思维链"当作成本

Kimi 在长度问题上的处理比 GRPO 更清醒。老师半调侃地说：

GRPO 那边的态度似乎是"长度失控地增长太棒了，我们的模型一定更聪明了"——而 Kimi 的反应是：长思维链是浪费。

理由很实际：

所以 Kimi 不仅不做长度归一化，还额外压缩响应长度。怎么做？——最简单的方式是加一个启发式的长度奖励，直接塞进 RL 里。

这个奖励设计得出奇复杂，核心逻辑是：

老师用了一个很好的类比：

想象我很不擅长几何。我解几何题总是错的，惩罚让我的几何思维链变得极短——短到零。那我永远也恢复不了几何能力，永远拿不到一次正奖励，被卡死在一个死局里。

所以正确的做法是：不要强迫错误答案变得超短，而是只激励它比平均值略短一点，从而让错误答案的长度不至于无限增长。

长度控制下的性能曲线（例如 omni math）

📷 长度控制下的性能曲线（例如 omni math）
回到原视频 (00:54:00)

Kimi 展示的结果也很漂亮：并非一味地堆 token。在某些任务（如 omni math）里，你思考得并不更久，但性能持续上升——这看起来正是长度控制起到作用的好例子。

5.5 数据过滤与"答案等价检查"的困境

Kimi 的最后一组做法：

这里有一个耐人寻味的讽刺：

我们这一讲一开始说：我们要搞真正可验证的东西，比如形式化数学，让编译器来验证。 结果讲到一半，我们又回到了用奖励模型来检查数学答案的对错。

为什么？——答案等价检查本身就是一个非常困难的问题：

所以，几乎所有 RL 项目最后都发展出一套非常复杂的答案检查器——正则、奖励模型、或别的什么——来避免这类问题。老师用一句话总结：

把 RLVR 里的"verified（可验证）"这一部分做对，本身就是一个深坑。

六、案例三：Qwen 3 与 Qwen3 Coder Next

(参考时间: 00:55:32 – 01:09:10)

6.1 Qwen 3 的完整流水线

Qwen 3 的完整训练流水线

📷 Qwen 3 的完整训练流水线
回到原视频 (00:56:27)

Qwen 3 的组织方式与 DeepSeek 的结构非常相似，可以当作"前沿模型是怎么造出来的"的心智图：

graph TD
    A[基础模型 Base] --> B[SFT]
    B --> C[推理 RL<br/>reasoning RL]
    C --> D[思考模式融合<br/>thinking mode fusion]
    D --> E[RLHF]
    E --> F[待发布模型]
    F --> G[蒸馏 → 小模型系列]

    C -.-> C1[难度过滤]
    C -.-> C2[去除无需思维链即可答对的题]
    C -.-> C3[去除与验证集过相似的题<br/>去污染]
    C -.-> C4[对参考思维链做人工过滤]

Qwen 3 的 RLVR 用的是经过验证的成熟套路（结合 Kimi 与 DeepSeek 的长处）：

最引人注目的一点是：Qwen 3 只用了 4,000 条样本做 RL。这说明只要流水线的其余部分做对了，你其实能走得很远。

6.2 思考 / 非思考模式融合与提前退出思考

Qwen 3 有几个比较有意思的独门设计：

① 用标签把思考与非思考混合在一个模型里

② 提前退出思考（early-exiting thinking）

编者补充（呼应提问）：有同学问"这是靠提示词还是靠不同模型？"——答案是：就是一个模型，只靠提示中的一个 tag 在"长思维链"和"几乎无思维链"之间切换。控制发生在提示层，而不是 API 层。

各组件对 Qwen 3 性能的贡献

📷 各组件对 Qwen 3 性能的贡献
回到原视频 (01:00:05)

③ 组件贡献分析

6.3 智能体 RLVR：Qwen3 Coder Next

最后一篇是 Qwen3 Coder Next（注意是 "coder next"，不是 "next coder"），是 agent 后训练的极佳范本。

老师强调一个贯穿全课的核心教训：

智能体的后训练与前面描述的没有本质不同——没有什么新的"智能体训练算法"。数据才是关键。

中期训练：把智能体能力"提前注入"

Qwen3 Coder 的中期训练数据构造

📷 Qwen3 Coder 的中期训练数据构造
回到原视频 (01:02:55)

能力不能只在最后注入，必须更早开始。所以有一个漫长的中期训练阶段，尽可能多地注入代码与智能体能力。具体做法：

专家模型 → 蒸馏回来

Qwen 的做法里有一个老师觉得不太常见的设计：他们训练一批专家模型，然后再蒸馏回同一个模型：

编者说明：老师坦言，"先分专家、再蒸馏回来"这种套路在学术界见过（比如 branch-train-merge），但在前沿模型训练里并不常见。他曾见过的最接近的例子是 DeepSeek V3.2 用"数据处理专家"来生成数据，但"训练多个专家再蒸馏回主模型"，他觉得挺新。

规模化构造智能体环境

在规模化的 GitHub 环境中做智能体 RL

📷 在规模化的 GitHub 环境中做智能体 RL
回到原视频 (01:05:55)

SWE-bench 是这类任务的黄金标准。Qwen 想做的是"SWE-bench，但更多"：

老师也提醒：RL 在你训练过的环境上表现好，并不奇怪——你甚至可以看到它对验证集的泛化，但任务特定表现不等于能泛化到更广领域，比较性能时要谨慎。

6.4 奖励是可以被"黑"的：两个警示

这是本讲抛出的最重要的方法论警示：

我们能往 RL 里投入越来越多算力，前提是相信"奖励模型不可欺骗或很难欺骗"。 一旦这个假设崩塌，你的 RL 方法会越来越诡异地找到作弊方式，把你从性能中骗出去。

警示一：Git 历史泄露

警示二：形式化数学的"编译器"也不安全

老师分享了他和学生的亲身经历：

我们当时天真地以为：Lean 不可能出问题——无数人用过它，Lean 编译器是滴水不漏的。 结果发现：Lean 编译器在对抗性意义下并不鲁棒。存在一些字符串，在某些模式下能让它验证本不该被验证的证明。

结论："可验证奖励"这件事，远比多数人最初想象的更棘手。 RLVR 的牢固程度，上限就是你的奖励的牢固程度——而奖励有时可以脆弱得惊人。

6.5 课堂尾声

(参考时间: 01:09:11 – 01:14:47)

老师用一组问答收尾，其中几点值得单独记下：

七、本讲核心要点回顾

(参考时间: 01:09:13 – 01:09:47)

用老师自己的话收束：

  1. 一切都关乎奖励。RLHF 与 RLVR 说到底是非常相似的问题，区别就在于：我们要更"不可黑"的奖励，才能承受更多算力、把系统做得更好。
  2. GRPO 是研究界的关键推手。你要像熟悉预训练损失一样熟悉它——它的函数形式、更新方式都要牢记。
  3. RLVR 现在很多人都会做了。虽然 RL 依然又挑剔又嘈杂、调试痛苦，但比起过去那些"在棘手环境里跑 PPO"的日子，它其实比你以为的要顺滑得多。

附：参考与延伸阅读

编者补充

已知疑点

以下为本讲重构过程中发现的、字幕可能听错 / 表述含糊 / 编者拿不准之处，逐条列出以便读者自行核对（附时间点或依据）：

  1. 专有名词的 ASR 疑似错误：
  2. 多处将 PPO 识别为 "PO"/"gpo"/"RHF"，已将语义上明显指 PPO 的地方统一为 PPO，但个别的 "PO" 是否确为 PPO，无法百分百确认（参考时间: 00:03:52 起）。
  3. GRPO 被多次识别为 "gpo"、"GRPO"、"gRPO"，已统一。
  4. RLHF 常被识别为 "RHF"，已统一为 RLHF。
  5. o1 在字幕中写作 "01"／"OpenAI 01"／"OpenAI1"，已统一为 o1。

  6. DeepSeek 被写作 "deep sea"/"DeepSk"，Qwen 被写作 "Quent"/"Quinn"/"Kimmy"（指 Kimi）等，已统一。Kimi 与 Qwen 之间的具体混淆（如 "Kimi K5 1.1" 疑为 "Kimi K1.5"），已按上下文修正为 Kimi K1.5，但讲师当场所说的确切版本号无法核实。

  7. 课程 / 论文版本号不确定：

  8. 关于 Qwen 的继任模型，字幕中出现 "Qwen 3.5 Next Coder"、"coder next / next coder" 的混乱，讲师自己也当场纠正。本书统一写作 Qwen3 Coder Next，但其官方命名以发布为准。

  9. 讲 DeepSeek V3 系列时字幕冒出 "DeepSeek V3.5 / V3.2"，讲师当场自我纠正（最终倾向 V3.2），此处的具体版本号无法判定（参考时间: 01:04:26）。

  10. 开源项目 / 论文出处不确定：

  11. 讲师提到一份 McGill 的 GRPO 玩具实现（参考时间: 00:18:07），未给出仓库地址，本书未能核实其具体链接。

  12. 提到 Dr. GRPO 及那张输出长度对照图（参考时间: 00:39:34），讲师多次称其为 "doctor gpo"，本书按通行的 Dr. GRPO（对应论文 Understanding R1-Zero-Like Training）处理，但未在课上点名论文全称，可能不精确。

  13. 具体数值与日期不确定：

  14. 讲师开场提到 "OpenAI 刚宣布用思考模型解决了一个重要的 Erdős 数学问题"，未给出具体题目与时间，本书也未替其补充，仅按原意转述（参考时间: 00:00:25）。

  15. R1-Zero "仅比 o1 稍弱"、Qwen3 Coder Next 在 SWE-bench 上 "约 70.6%"、Qwen 3 的 RL 数据量 "4,000 条"——均为字幕转述，应与原报告核对。

  16. 表述含糊之处：

  17. 讲师说 "GRPO 的在线情形下 clip 消失，因为 $\pi_{\theta_{old}}$ 与 $\pi_\theta$ 的比率为 1"——这在严格意义上要求你每步都重新 rollout；实际工程里为省算力常会重用 rollout，此时比率不再为 1，clip 就重新起作用。课上未展开这一层，此处仅为编者推断（参考时间: 00:16:20）。
  18. "语言一致性奖励"对模型性能的具体影响，讲师只说"为了可解释性"，未给出量化结果（参考时间: 00:32:41）。

  19. 关于 "RL 与 SFT 的关系"的讨论，讲师的表述是观点性的，没有任何课上给的证据，本书按原意保留，未替其下结论（参考时间: 00:34:30）。

  20. 编者判断拿不准处：

  21. 关于 "中期训练对 RL 到底多重要"，讲师多次用 "非常值得有，但不一定生死攸关" 之类的模糊表述，且明确说 "没有一刀切的答案"。本书按原话保留其模糊性，未美化成"结论"（参考时间: 01:12:49）。
  22. Kimi 的 "长度奖励公式" 讲师只说 "出奇地复杂"，未给出公式，本书也没有替其推导，仅按原意转述设计意图。

说明：若确实没有疑点，本节也应保留并写明"本讲未发现明显疑点"；本书的判断是——本讲存在若干听写与分析上的不确定性，故按上逐条列出。

附录：官方幻灯片（全部）

第 1 页幻灯片 · Lecture 16

🖼️ 第 1 页幻灯片 · Lecture 16

第 2 页幻灯片 · The class thus far

🖼️ 第 2 页幻灯片 · The class thus far

第 3 页幻灯片 · The goal – expand the scope and power of RL

🖼️ 第 3 页幻灯片 · The goal – expand the scope and power of RL

第 4 页幻灯片 · The lecture today

🖼️ 第 4 页幻灯片 · The lecture today

第 6 页幻灯片 · PPO

🖼️ 第 6 页幻灯片 · PPO

第 7 页幻灯片 · PPO – at a conceptual level

🖼️ 第 7 页幻灯片 · PPO – at a conceptual level

第 8 页幻灯片 · You know you’re in for a bad time if there’s a blog post like this..

🖼️ 第 8 页幻灯片 · You know you’re in for a bad time if there’s a blog post like this..

第 10 页幻灯片 · PPO – let’s look at an implementation

🖼️ 第 10 页幻灯片 · PPO – let’s look at an implementation

第 11 页幻灯片 · PPO in practice

🖼️ 第 11 页幻灯片 · PPO in practice

第 12 页幻灯片 · PPO in practice – loss computation

🖼️ 第 12 页幻灯片 · PPO in practice – loss computation

第 13 页幻灯片 · PPO in practice – rollouts.

🖼️ 第 13 页幻灯片 · PPO in practice – rollouts.

第 14 页幻灯片 · PPO in practice – reward shaping

🖼️ 第 14 页幻灯片 · PPO in practice – reward shaping

第 15 页幻灯片 · PPO in practice – generalized advantage estimate

🖼️ 第 15 页幻灯片 · PPO in practice – generalized advantage estimate

第 16 页幻灯片 · What do you expect to see in PPO?

🖼️ 第 16 页幻灯片 · What do you expect to see in PPO?

第 17 页幻灯片 · Why do we need yet another RL algorithm..?

🖼️ 第 17 页幻灯片 · Why do we need yet another RL algorithm..?

第 19 页幻灯片 · GRPO is very simple (thanks to lack of value function..)

🖼️ 第 19 页幻灯片 · GRPO is very simple (thanks to lack of value function..)

第 20 页幻灯片 · Advantage computation is also very simple..

🖼️ 第 20 页幻灯片 · Advantage computation is also very simple..

第 21 页幻灯片 · How well does it work?

🖼️ 第 21 页幻灯片 · How well does it work?

第 22 页幻灯片 · Thinking carefully about the GRPO objective..

🖼️ 第 22 页幻灯片 · Thinking carefully about the GRPO objective..

第 23 页幻灯片 · GRPO doesn’t use a “valid” baseline

🖼️ 第 23 页幻灯片 · GRPO doesn’t use a “valid” baseline

第 24 页幻灯片 · Length biases of GRPO

🖼️ 第 24 页幻灯片 · Length biases of GRPO

第 25 页幻灯片 · Case studies

🖼️ 第 25 页幻灯片 · Case studies

第 26 页幻灯片 · Deepseek R1

🖼️ 第 26 页幻灯片 · Deepseek R1

第 27 页幻灯片 · Algorithm - GRPO

🖼️ 第 27 页幻灯片 · Algorithm - GRPO

第 28 页幻灯片 · Controlled setting – R1 zero.

🖼️ 第 28 页幻灯片 · Controlled setting – R1 zero.

第 29 页幻灯片 · Interesting phenomena (?)

🖼️ 第 29 页幻灯片 · Interesting phenomena (?)

第 30 页幻灯片 · But maybe a bit overstated

🖼️ 第 30 页幻灯片 · But maybe a bit overstated

第 32 页幻灯片 · SFT initialization..

🖼️ 第 32 页幻灯片 · SFT initialization..

第 33 页幻灯片 · SFT for reasoning / math..

🖼️ 第 33 页幻灯片 · SFT for reasoning / math..

第 34 页幻灯片 · RL step

🖼️ 第 34 页幻灯片 · RL step

第 35 页幻灯片 · SFT/RLHF

🖼️ 第 35 页幻灯片 · SFT/RLHF

第 36 页幻灯片 · How well does R1 work?

🖼️ 第 36 页幻灯片 · How well does R1 work?

第 37 页幻灯片 · Distillation – can we get non-reasoning models to reason?

🖼️ 第 37 页幻灯片 · Distillation – can we get non-reasoning models to reason?

第 38 页幻灯片 · Other, relevant observations

🖼️ 第 38 页幻灯片 · Other, relevant observations

第 39 页幻灯片 · Kimi K1.5

🖼️ 第 39 页幻灯片 · Kimi K1.5

第 40 页幻灯片 · Long COT reasoning strategy

🖼️ 第 40 页幻灯片 · Long COT reasoning strategy

第 41 页幻灯片 · Data curation + SFT

🖼️ 第 41 页幻灯片 · Data curation + SFT

第 43 页幻灯片 · Length control in Kimi

🖼️ 第 43 页幻灯片 · Length control in Kimi

第 44 页幻灯片 · Additional details

🖼️ 第 44 页幻灯片 · Additional details

第 45 页幻灯片 · RL Infra

🖼️ 第 45 页幻灯片 · RL Infra

第 47 页幻灯片 · Scaling results

🖼️ 第 47 页幻灯片 · Scaling results

第 48 页幻灯片 · Ablation / comparison to expert iteration

🖼️ 第 48 页幻灯片 · Ablation / comparison to expert iteration

第 49 页幻灯片 · Final case study – Qwen 3

🖼️ 第 49 页幻灯片 · Final case study – Qwen 3

第 51 页幻灯片 · SFT + Reasoning RL

🖼️ 第 51 页幻灯片 · SFT + Reasoning RL

第 52 页幻灯片 · Qwen 3 specific new stuff.

🖼️ 第 52 页幻灯片 · Qwen 3 specific new stuff.

第 53 页幻灯片 · Test time scaling

🖼️ 第 53 页幻灯片 · Test time scaling

第 55 页幻灯片 · Agentic RL

🖼️ 第 55 页幻灯片 · Agentic RL

第 57 页幻灯片 · Expert models

🖼️ 第 57 页幻灯片 · Expert models

第 58 页幻灯片 · Web dev / UX / QA expert

🖼️ 第 58 页幻灯片 · Web dev / UX / QA expert

第 60 页幻灯片 · Agent RL

🖼️ 第 60 页幻灯片 · Agent RL

第 61 页幻灯片 · Recap for today

🖼️ 第 61 页幻灯片 · Recap for today