第5讲 · 损失景观（上）：盆地、河谷与临界点

Stanford CS312《深度学习炼金术》（2026）官方课堂幻灯片 · 中文重构

对应讲次：第5讲（Stanford CS312 深度学习炼金术）

制作模型：deepseek-flash（vb compose）

一、损失景观初探：从卡通图到高维地形

损失景观（loss landscape） 指的是损失与参数之间的关系：把损失看成参数的函数 $L(\theta)$，其中 $\theta$ 的维度就是模型的参数量。训练在这个曲面上做的事非常朴素——反复沿负梯度方向移动一小步：

🖼️ Li et al. 2018 的可视化对比图直观展示了不同架构（有无残差连接）造成的景观平滑度差异，是“真实景观不是卡通”的第一手证据

$$\theta_{t+1} = \theta_t - \alpha \nabla_\theta L(\theta_t)$$

🖼️ 这页把高维可视化的三类启发式手段与 Hinton 的名言放在一起，适合作为全讲的路线图

讲义第 3 页那张图把这件事画成一条二维曲线：横轴是参数（实际上是高维空间中的一条路径），纵轴是损失，$\theta_t$ 是当前所在的位置，箭头指向下一步该走的方向。这张图是卡通，不是真实景观——这正是本讲反复要提醒的事情。

围绕这张卡通图，讲义列出了四个至今没有完全回答的疑问：

• 景观到底有多非凸？
• 模型会不会卡在某处？
• 不同训练会不会终止于同一个极小？
• 景观有多尖锐或平坦？

这四个问题正好对应本讲的三部分（前三个分别对应盆地、临界点、盆地/模式连通性）与下一讲（尖锐度）。

真实景观远比卡通曲线复杂。例如，网络架构的选择会显著影响景观的平滑程度（Li et al., 2018）。该文用参数空间中两条经过归一化的随机方向张成一个二维平面，在这个平面上画出损失的等高线，从而比较不同架构的景观；有无残差连接（residual connection） 会带来肉眼可见的平滑度差异——有残差连接的损失曲面明显更平滑、更容易优化。

反过来也有惊人的结果：Skorokhodov 与 Burtsev 等人（2025）的工作表明，人们甚至可以构造出看起来就像卡通图的损失景观，某种程度上“违反”我们对高维景观的直觉。

那么，我们究竟该怎么分析一个连维数都数不清的曲面？讲义引用了 Geoffrey Hinton 的名言：

“要处理 14 维空间里的超平面，就先想象一个三维空间，然后对自己很大声地说‘十四’。大家都是这么干的。”

笑点背后是方法论的坦白：研究者发展出了几类启发式工具来“看见”高维景观——对训练景观做切片/投影、构造低维玩具例子、以及统计高维性质的摘要量（比如 Hessian 谱）。本讲接下来给出的三个心智模型，就分布在这条从经验到理论的谱系上。

二、三种心智模型总览：盆地、河谷与临界点

在深入之前，先看全讲的三个“心智模型（mental model）”。它们不是互相排斥的理论，而是三副看同一座山的眼镜。

🖼️ 盆地示意图把“A、B 两点平均后落在更低处”这件事一图讲清，是理解权重平均的核心画面

模型一（盆地，Basins）：在某些训练情形下，损失景观实际上近似凸的。如果两个模型最终落在同一个盆地（basin）里，把它们的权重平均起来，可以得到一组更好的参数——注意不是“介于两者之间”，而是比两个端点都好。

🖼️ 河谷示意图画出“沿河前进 + 垂直方向震荡”的几何结构，后文所有学习率调度讨论都依赖这张图

模型二（河谷，River Valley）：训练并不是沿着曲面一路平滑下降。更准确的图像是：训练在谷壁之间来回震荡，同时沿着河谷的方向缓慢前进。“沿河方向”是低曲率方向（进展发生在那里），“横跨河谷”是高曲率方向（震荡发生在那里）。

模型三（临界点，Critical points）：训练会不会卡在局部极小或鞍点？梯度为零的点对最终性能到底有没有害？

这三个模型分别对应三类实践：权重平均（盆地）、学习率调度与权重平均消噪（河谷）、逃离鞍点的算法（临界点）。接下来三大部分依次展开。

编者说明：三个模型对应的是不同的“观察尺度”。盆地关心的是训练结束后若干解之间的几何关系；河谷关心的是训练过程中轨迹的形状；临界点关心的是单个点的局部性质。混用它们会得出矛盾结论，例如“平均两个独立训练的网络会坏掉”并不否定盆地模型，因为那两个解根本不在同一个盆地。

三、盆地与模式连通性：独立训练会殊途同归吗

传统上，深度学习被认为具有一个非常混乱的景观、遍布局部极小。在这个印象里，两次独立的训练运行没有理由落到同一个极小点上——就像两粒沙子从山顶滚下，不该停进同一个坑。

🖼️ 两个独立 d8 模型直接平均失败的例子，是这一节最关键的“反例”，需要看图才能体会中间模型更差的含义

🖼️ WiSE-FT 的图示说明了平均初始化与微调端点为什么能同时改善 ID/OOD 性能，是模式连通性最典型的正面证据

失败案例：直接平均两个独立训练的模型

最朴素的实验立刻就会失败。讲义描述：把两个各自独立训练的默认 d8 模型拿来做权重平均，得到的模型完全没有意义（输出退化）。原因可以从中间模型看出来——在两个端点之间做线性插值，路径上的模型损失更高，也就是说这条连线翻过了两座盆地之间的“山脊”。端点因此不在同一个盆地（basin）内，平均自然落在糟糕的位置。

这个反例的价值在于它给出了判断“是否同盆地”的操作性定义：如果两个解之间的线性插值点都不比它们更差，它们才可能在同一盆地（模式连通）。反之，中间变差就是“翻山”的证据。

正面证据：微调与它的初始化

然而，存在大量模型确实落到同一个极小的例子。除了预训练内部的某些情形，讲义把重点放在微调（fine-tuning） 上。

第一个例子是 WiSE-FT（Wortsman、Ilharco 等人，2021）：把微调后的模型与它的初始化（即微调前的零样本模型）做权重平均，可以同时提升分布内（in-distribution, ID）与分布外（out-of-distribution, OOD）性能。零样本模型在分布外很稳健但精度低，微调模型精度高但分布外性能退化——平均恰好落在两者之间的“好区域”，而且不是简单的折中，而是 Pareto 意义上的改进。

更强的说法是：由平均所诱导出的权重包络（hull）——即沿着“初始化—微调”连线上取的一系列插值点——甚至可以胜过逐一调学习率、训练轮数（epoch 数）、权重衰减等超参数所得到的结果。换句话说，在权重空间里挪一挪，比在超参数空间里搜索还划算。

这一技术还能推广到别的性能权衡上。例如 Dang 等人（2025）把它用在推理模型（reasoning model）上，在准确率与覆盖率（coverage） 之间做权衡——模型可以选择“多答几题但更容易错”或“少答但更准”，权重集成提供了这条权衡曲线上的多个点。

四、Model Soups：平均多次独立的微调

如果说“微调结果与初始化平均”还沾着同一个起点的光，那么下一个结果就更强：完全独立的多次微调运行也可以平均。代表性工作是 Model Soups（Wortsman 等人，2022）。

🖼️ 这页把“两个权重在同一盆地、平均后更靠近谷底”的几何直觉画了出来，是 Model Soups 全部结论的解释框架

关键在于“微调”这个前提：所有运行都从同一个预训练权重出发，只是用不同的随机种子、数据顺序或超参数各自训练一段时间。它们之间的距离足够近，因而落在同一个盆地里。

最干净的受控实验是：只改变随机种子（其他一切相同）得到若干微调模型，把它们平均，性能优于其中任何一个单独模型。

几何直觉很直接：这些权重都落在一个损失盆地里，两个模型各自的损失相近，但平均之后权重更靠近谷底，于是损失更低。这解释了为什么“平均”不是“折中”。

有意思的是，论文指出：模型之间差异越大（权重向量之间的夹角越大），权重平均带来的增益越大。差异太小的模型平均起来几乎没变化。为了制造差异，实践上会跨不同的超参数聚合——不同的学习率、不同的数据增强强度。

聚合方式也有讲究：跨超参数聚合时呈现出与规模（scale）相关的趋势，而贪心地保留最好的那几组超参数（greedy soup：逐个加入候选模型，只有验证性能提升才留下）效果更好，讲义甚至说这一步“可能是必要的”。

最后是工程上最重要的一点：Model Soups 只产出一个模型，因此不增加任何推理时间——这是它相对传统集成（ensemble，需要跑多个模型）的核心优势。

五、任务算术与跨预训练的模型融合

🖼️ 任务向量取反以移除模型能力的示意图，是任务算术最反直觉、也最需要图示的一步

🖼️ 置换对称性的图示解释了“两个独立预训练模型为何可以视为同一盆地”，这是本节的理论转折点

任务算术：权重空间可以用加减法编辑

微调周围的权重空间“好说话”到了什么程度？答案是：可以用加减法编辑模型（Ilharco 等人，2022，任务算术 / task arithmetic）。

先定义任务向量（task vector）：把在某个任务上微调后的权重减去微调前的权重，

$$\tau = \theta_{\text{fine-tuned}} - \theta_{\text{pretrained}}$$

这个向量可以理解为“该任务的方向”。于是可以做：

• 加：$\theta_{\text{pretrained}} + \lambda \tau$，用 $\lambda$ 控制强度，把能力“装回去”或加强；
• 减：$\theta_{\text{pretrained}} - \lambda \tau$，把这项能力从模型里移除。

“取反以抹掉能力”是任务算术里最反直觉的一步：我们并不是把模型重新训练成“不会做这件事”，而是沿着刚才学会它的方向往回走，并且走过头一点。这说明微调所改变的权重方向具有一定程度的线性可加结构。

为什么同样的事在预训练上不成立

既然权重平均对微调这么有效，为什么对预训练不奏效？如果把两个从头独立预训练、只共享架构和数据的模型拿来直接平均，结果同样是无意义的模型——它们不在同一个盆地。

Git Re-Basin（Ainsworth 等人，2022）与 Model Fusion via OT（Singh 和 Jaggi，2019）给出了一个理论上的解释：在置换对称性（permutation symmetry） 下，这两个模型其实属于同一个盆地。

直觉是这样的：神经网络的一个隐藏层，如果把它的神经元重新排列（同时把下一层对应输入通道按同样方式重排），网络的输出完全不变。也就是说，参数空间里存在大量“等同”的解，它们只是在坐标顺序上不同。两个独立预训练的模型可能实际上对应同一座盆地里被置换打乱过的两个位置；只要找到一个置换把它们的坐标对齐，它们就能被平均。求解“如何对齐”就变成了一个匹配/最优传输问题（这正是 OT 那条线的思路）。

但讲义紧接着泼了冷水：特征匹配（feature matching）类方法的表现仍然不如集成（ensembling）。也就是说，理论上的“同盆地”并没有转化为实践上的“平均就更好”。

可行的替代路径

既然“事后对齐”不够好，那就从源头保证两个模型同盆地：

• 同一次训练内部：Lucas 等人（2021）讨论最终 checkpoint 与初始化之间的连通性（讲义原文用“mode-connected”一词，指两者之间存在低损失路径），这为“训练轨迹内部插值/平均”提供了依据。
• 同起点、后期分叉：Fort 等人（2020）的做法是先共享一段训练，然后让两次运行分叉（fork）。共享的早期训练把两个解约束进同一个盆地，之后的独立演化仍然能带来多样性。讲义特别提示：作业里会大量使用这种做法。

这一部分的小结（讲义第 29 页）：微调经常落在同一个盆地，因此“直接平均权重”就能带来一系列有趣的性质；预训练在一次运行内部保持模式连通（mode connectivity），但不天然允许跨运行平均；不过，通过修改训练方式（共享起点、置换对齐等），预训练也可以被“拉进”同一个盆地。

六、Hessian：为曲率提供一套语言

后两个心智模型（河谷与临界点）都需要讨论景观的曲率（curvature），而曲率的核心工具是损失的二阶导数——Hessian 矩阵：

🖼️ 这页给出“特征值绝对值看尖锐度、符号看朝向”的读图规则，是后文所有谱分析的阅读前提

$$H = \nabla^2_\theta L(\theta), \qquad H_{ij} = \frac{\partial^2 L}{\partial \theta_i \partial \theta_j}$$

🖼️ Newton 法更新式与其收敛阶的对比需要一个干净的公式页作为参照

它是一个 $d \times d$ 的对称矩阵（$d$ 为参数量，实际模型里是天文数字）。直接存下来不可能，所以实践中从不显式构造它，只关心它的谱（spectrum）。

讨论 Hessian 时，最自然的方式是讨论它的特征值。在第 $i$ 个特征方向 $q_i$ 上，曲率就是 $\lambda_i$：

• 绝对值 $|\lambda_i|$ 决定该方向的尖锐/平坦程度——大表示曲面在这里弯得急，小表示接近平坦；
• 符号 决定该方向朝上还是朝下——正号像碗壁（朝上弯），负号像山脊（朝下弯）。

真实的 Hessian 谱通常用 Lanczos 迭代 来估计：只需要能算 Hessian-向量乘积 $Hv$（通过两次反向传播即可，无需构造 $H$），就能迭代地逼近极端特征值。

编者说明：讲义原文把 Lanczos 拼成了“Lancsoz”，正确的拼写是 Lanczos（ Cornelius Lanczos）。与此类似，后文的 Gauss-Newton 在原文里也拼作“Gauss-Newtown”。

如果完整知道 Hessian，就可以做 牛顿法：

$$\theta_{t+1} = \theta_t - H^{-1} \nabla_\theta L(\theta)$$

可以把它看成“用 Hessian 做预条件（preconditioning）的梯度下降”——在曲率大的方向自动迈小步，在曲率小的方向迈大步。代价也写得出来：在凸优化理论里，梯度下降经 $T$ 步达到 $O(1/T)$ 的误差，而牛顿法达到 $O(1/T^2)$。

最后，讲义（第 38 页）说明了这套语言与三个心智模型的接口：

• 在河谷模型里，会论证高曲率方向存在剧烈震荡，而进展发生在低曲率方向；
• 在临界点模型里，用特征值的符号区分鞍点（有正有负）与局部极小（全为正）；
• 在尖锐度（下一讲）里，关注 Hessian 的最大特征值在训练过程中如何变化。

七、二阶信息的实践：Gauss-Newton 与加速收敛

牛顿法的公式很漂亮，但直接用于深度学习会立刻出问题：Hessian 可能有负特征值。一旦 $H$ 不是正定的，$H^{-1}\nabla L$ 甚至不保证是下降方向，更新可能把损失推高。

🖼️ Abreu et al. 2025 的收敛曲线直接展示了二阶方法在 LLM 训练上的加速效果，是本节结论的实证落点

替代方案是 Gauss-Newton 矩阵。讲义给的直觉是：它保留的是对模型输出的二阶信息，而不是对模型参数的二阶信息。形式化地说，令 $J$ 为模型输出对参数的雅可比矩阵，则

$$G = J^\top J \succeq 0$$

它天然是半正定（PSD, positive semi-definite） 的，所有特征值非负，因此可以安全地用作预条件。代价是：它与真正的 Hessian 特征值并不相同，但在极小点处两者一致。

编者拓展｜Gauss-Newton 与 Hessian 差在哪：设损失是平方误差 $L = \tfrac12 \|r(\theta)\|^2$，$r$ 为残差（在分类任务里可理解为“输出与目标的差”），$J = \partial r/\partial \theta$。对 $L$ 求两次导得到

$$H = J^\top J + \sum_i r_i \, \nabla^2 r_i .$$

也就是说，Gauss-Newton 就是丢掉第二项后的近似。当模型拟合良好（残差 $r_i \approx 0$）时第二项消失，两者重合；这正是讲义说“在极小点处一致”的来源。丢掉的那一项正是可能带来负特征值的部分，所以 $G$ 一定半正定。这条推导属于标准的二阶优化教科书内容（例如 Nocedal & Wright, Numerical Optimization 第 10 章），不是讲义原文。

二阶信息在实践中有多大用？Abreu 等人（2025）用完整 Gauss-Newton 训练 LLM，结果显示：在每步额外计算量的代价下，收敛所需的步数被显著压缩。这是一个明确的“以计算换步数”的权衡。

真实模型的谱长什么样？Meterez 等人（2026）针对不同 batch size 估计了 Hessian 与 Gauss-Newton 矩阵的特征值，观察到三点：特征值呈平滑衰减；大多数（但不是全部）为正；Hessian 与 Gauss-Newton 的主导部分基本吻合。这为“用二次模型近似真实景观”的做法提供了一定的经验支持。

八、河谷模型：理论学习率与不可消除的稳态风险

回到噪声二次模型（Noisy Quadratic Model, NQM）：把损失近似为二次型，并假设我们拿到的是带噪声的梯度（来自小批量采样）。在这个模型下，固定学习率 $\alpha$、批大小 $B$、Hessian 特征值 $h_i$ 的训练，会收敛到一个不可消除的稳态风险（steady-state risk）：当 $t \to \infty$，损失停在一个由 $\alpha$ 与噪声水平决定的正值上，而不会继续下降到零。

🖼️ 这页的 SGD 与 Polyak 平均对比曲线是谷心理论的核心图像，正文抽象描述的“稳态风险”与“平均消噪”都要靠它落地

这在实践中显然不理想——训练到最后损失不降了，但又不是最优。

理论给出两条经典出路（讲义第 41 页）：

1. 随训练衰减步长（Polyak，1963）——学习率退火；
2. 对训练过程中的权重做平均以抵消噪声（Polyak，1990）——即 Polyak 平均（也常以指数滑动平均 EMA 的形式出现）。

单方向、$B = 1$、$h_i = 1$ 的玩具分析最能说明差别：朴素的 SGD 会在最优点附近持续抖动（损失曲线上是一个带噪声的平台），而 Polyak 平均把轨迹上的点平均起来，噪声相互抵消，曲线继续向下走。

编者拓展｜一维稳态风险从哪来：取 $L(\theta) = \tfrac{h}{2}\theta^2$，随机梯度 $g_t = h\theta_t + \xi_t$，$\mathbb{E}[\xi_t]=0$、$\mathrm{Var}(\xi_t) = \sigma^2/B$（批大小 $B$ 越大噪声越小）。更新式 $\theta_{t+1} = (1-\alpha h)\theta_t - \alpha \xi_t$ 是一个线性递归，当 $|1-\alpha h| < 1$ 时收敛到稳态方差

$$\mathrm{Var}_\infty = \frac{\alpha^2 \sigma^2/B}{1-(1-\alpha h)^2} \;\approx\; \frac{\alpha \sigma^2}{2 h B}\quad(\alpha h \ll 1),$$

于是 $\mathbb{E}[L] \approx \tfrac{h}{2}\mathrm{Var}_\infty \approx \dfrac{\alpha \sigma^2}{4B}$。稳态风险与学习率 $\alpha$ 成正比、与批大小 $B$ 成反比。这直接解释了为什么“退火学习率能降损失”，也解释了为什么 Polyak 平均有用：若各 $\theta_t$ 的噪声近似独立，$T$ 步平均把方差再压低约 $T$ 倍。以上是我补的一维推导，讲义原文只给了结论与示意图。

接下来的问题是：这套凸优化理论到底有多贴近深度学习实践？讲义明确说，后面要看的是一系列深度学习专属的实验，目的是检验 Polyak 这个心智模型有多“写实”，以及还需要补充哪些成分。

九、河谷模型的实验证据与学习率调度的含义

🖼️ 这页对比 GD 与 SGD 的更新相似度，是“训练在震荡”这一结论的直接实验证据

🖼️ 学习率调度与隐藏进展的曲线图，能直观说明为什么衰减学习率会发生性能的突然提升

训练真的在震荡吗

要检验“震荡”这个说法，可以直接测量相邻两次更新的相关性。Xing 等人（2018）发现，在梯度下降（GD）上，相邻更新呈负相关——这正是在一个方向上“冲过头再冲回来”的特征，而不是朝着同一方向稳步前进。SGD 上的信号更弱，讲义的解释是：噪声稀释了这种符号结构。

高学习率下的“隐藏进展”

如果河谷图景成立，那么不同学习率调度会塑造出不同的轨迹形状，而且高学习率阶段可能仍在“暗中前进”（Hagele 等人，2024）：模型在横跨河谷的方向上剧烈震荡，沿河方向其实一直在推进，只是这种推进没有反映在损失曲线上。降低学习率相当于“驶入河谷”，把之前积累的隐藏进展一次性显性化——这就是学习率衰减时损失常常“突然掉一截”的原因。

推论：重新升温会更好吗

如果河谷视角是对的，那么训练并不需要一条“一次到底”的调度：可以在稳定阶段结束后重新升温（re-warmup），继续沿河前进，再衰减（Wen 等人，2024）。这直接引出了作业里的实验问题：重新升温到底比单一学习率调度更好还是更差？

权重平均能估计“河谷底部”吗

Polyak 平均的预测能否在这个心智模型里成立？如果模型确实在河谷上方震荡，那么对迭代点做平均（EMA 或 Polyak）就能估计出沿河谷而不是横跨河谷的性能。作业会让读者自己评估这种平均能达到什么水平。

这里有一个与盆地模型的有趣分歧（讲义第 47 页）：WiSE-FT 的结果表明，EMA 带来的收益与平均“初始化 + 端点”带来的收益是不同的两回事。也就是说，“沿轨迹消噪”和“在同一盆地里插值”虽然都用到了权重平均，机制与收益并不重合。

十、案例研究：多 token 视界下的调度与权重平均

这一节把前面的心智模型落到一个非常实际的工程需求上：在多个 token 视界（token horizon）下预估训练退火后的性能。比如，训练团队想知道“如果我只训 1T token 会怎样，训 2T 又会怎样”，而不想为每个预算都单独跑一次完整训练。朴素做法的问题很明显：每换一个视界，就要重新设计一套学习率调度并重跑，成本高得不可接受。讲义把这个需求当作检验 Polyak 模型预测能力的案例研究。

🖼️ 这页把 Polyak 平均“用来估计河谷底部性能”的思路图形化，是三个方案中最需要插图说明的一个

方案一：MiniCPM 式的多衰减段（Hu 等人，2024）。保留一段很长的稳定期（stable phase），然后在不同视界处分别接上多个衰减段（decay phase）。这样一次训练就能产出多个“退火后”的 checkpoint。讲义指出的麻烦是：正如作业 2 会发现的，最优学习率依赖于视界，如果所有视界共享同一个峰值学习率，就必然在某些视界上吃亏（regret）。

方案二：无地平线学习率调度（horizon-free schedule）。既然最优峰值学习率随视界变长而下降，那就干脆让它随步数自动下降——例如把峰值学习率按步数的平方根反比缩放（WSqD）。这样调度本身不再需要预先指定“我要训多少步”。讲义说这一方案也会在作业里被评估。

方案三：用 Polyak 平均估计河谷底部的性能。既然衰减学习率的作用是“驶入河谷”，那么用 Polyak 平均直接估计谷底的损失，就可能在不真正退火的情况下预测退火后的性能——一次性为多个视界给出预测。

这一部分的小结（讲义第 52 页）：学习率调度或权重平均方案的必要性，其实是被经典凸优化理论预测出来的；我们可以把经典理论几何化成一幅河谷图景，训练在其中震荡前进；而这些心智模型会直接影响我们在实践中如何组织一次训练。

十一、临界点与统计物理直觉：鞍点远比局部极小多

🖼️ 这页用一张经典示意图区分局部极小与鞍点，为初学者建立最基础的几何图像

🖼️ Wigner 半圆随误差平移的图示，是“高误差点几乎都是鞍点”这一核心论证的可视化

恐惧的来源

深度学习研究者长期以来一直担心：训练会停在临界点（critical point）——梯度为零的地方，此时目标还没有被充分优化。临界点分两类：

• 局部极小（local minimum）：Hessian 特征值全为正，各个方向都朝上，是个真正的“坑”；
• 鞍点（saddle point）：特征值有正有负，有些方向朝上、有些朝下。

三条民间论证

有意思的是，实践中人们并不真的使用躲避局部极小或鞍点的方法。这背后是一系列“民间论证（folklore arguments）”，讲义把它们列为三条：

1. 鞍点远多于局部极小；
2. 局部极小即使存在，其损失也接近全局极小；
3. 梯度下降几乎总能避开鞍点。

讲义的评论是：这正好是一个“低维直觉在高维失效”的典型例子——我们在二维纸上画的那些坑坑洼洼，对上千维的空间没有指导意义。

统计物理的直觉：误差与负特征值比例

建立高维直觉的一条路径，是分析随机矩阵的曲率，把它当作真实模型的代理。这种研究风格在统计物理里很常见，也与“优化 1”里讨论的 μP 相关。

Bray 与 Dean（2006）分析高斯随机场在临界点处的两个量：误差 $\varepsilon$（相对全局极小的超出量）与指标 $\alpha$（负特征值的比例）。他们发现两者之间存在单调关系：误差越高，负特征值比例越大。

由此得到两条推论：

1. 相对全局极小误差很大的临界点，指数级地更可能是鞍点；
2. 指标为 0（全正特征值）的局部极小，其误差必然接近全局极小。

随机矩阵的图景：谱的平移

这套论证可以从随机矩阵理论获得直觉：

• 一个随机高斯矩阵的特征值分布服从 Wigner 半圆律（Wigner's semicircle law），中心在 0，每个特征值有 $1/2$ 的概率为正、$1/2$ 为负；
• Bray 与 Dean（2006）表明，临界点处的 Hessian 服从同样的分布，只是被平移了一个由 $\varepsilon$ 决定的量；
• 全局极小把谱整体推到足够靠右，使所有特征值都为正；
• 高误差的点把谱推到足够靠左，使大多数特征值为负。

讲义还给出一个维度论证：在一维的参数空间里，临界点要么是极小要么是极大，恰好是“鞍点”的概率为零；但当参数数量增长时，按照上面的平移图景，要求所有特征值都为正就变得越来越苛刻，于是局部极小出现的概率指数级下降。

Dauphin 等人（2014）对这套直觉做了实证检验：在深度网络训练中，误差 $\varepsilon$ 与负特征值比例 $\alpha$ 确实呈现强相关。也就是说，随机场模型给出的图景在真实网络上大致成立。

编者拓展｜半圆律为什么能推出“鞍点多”：可以把 $d$ 维随机矩阵的特征值想成 $d$ 个近似独立的随机数，落在以 $\varepsilon$ 决定的中心为均值、宽度约 $\sqrt{d}$ 的半圆上。要求“全部为正”意味着这 $d$ 个数同时落在中心右侧——在独立近似下这是概率约 $2^{-d}$ 的事件。因此“全正”的点随维度指数级稀缺，而“有正有负”几乎是默认情况。这个论证是启发式的（真实 Hessian 的特征值并不独立），但它解释了为什么高维里鞍点占绝对多数；严格版本见 Bray & Dean (2006) 与 Auffinger 等人的工作。

十二、鞍点真的可怕吗：理论保证与综合

🖼️ 这页汇总了“梯度下降收敛到极小点”的定理陈述，是本节理论论证的正式落点

既然局部极小不是主要担忧，那鞍点呢

人们提出了不少专门“逃离鞍点”的算法，一个共同主题是给模型加噪声扰动，把它从鞍点附近的平坦区域推出去（Jin 等人，2017）。

但更强的结论是：不需要专门设计算法。Lee 等人（2016、2017）证明，当所有鞍点都是“严格（strict）”的——即每个鞍点都有非零特征值——时，梯度下降几乎必然收敛到一个极小点而不是停在鞍点上。这提示深度学习训练大概不会真的被鞍点困住。不过讲义也提醒：这个结论不解决收敛速度问题——它只说“会到达”，没说“多快到达”。

反面证据：局部极小确实可能存在

需要诚实地补一句：也有理论结果说明某些非凸问题确实存在局部极小（Yun 等人，2018）。同时，另一些非凸问题被证明没有虚假局部极小，只有唯一的全局极小：

• Ge 等人（2016）讨论的矩阵补全/矩阵恢复类问题没有虚假局部极小；
• Baldi 与 Hornik（1989）证明单层 MLP 只有鞍点、没有局部极小（其结构与主成分分析密切相关）。

编者说明：讲义第 60 页把 Ge 等人（2016）的工作写成“非凸矩阵乘法（nonconvex matrix multiplication）”，但同一页贴出的论文标题是 Matrix Completion has No Spurious Local Minimum（矩阵补全）。两处不一致，正文按论文标题理解。

鞍点到鞍点

另一个理论视角来自深度线性网络：在这个可分析的设定下，可以证明训练会依次访问一系列鞍点的邻域，最后才收敛到全局极小。也就是说，训练不是“掉进一个坑”，而是“从一个鞍点被推到下一个鞍点”，随着有效秩（或复杂度）逐步增加而前进。

编者拓展｜这篇文献的出处：讲义只给了标题 Saddle-to-Saddle Dynamics in Deep Linear Networks: Small Initialization Training, Symmetry, and Sparsity，没有给作者与年份。据我所知这是 Jacot、Ged、Şimşek 与 Hongler（2022，arXiv:2106.15933）的工作。此条为外部补充，请以原文为准。

综合

把三个心智模型放在一起：

• 鞍点远多于局部极小（如果局部极小存在的话）；
• 如果局部极小存在，它们的损失很可能接近全局极小；
• 梯度下降会收敛到这些极小点之一，而不被鞍点阻塞。

讲义的结论带着一点调侃：这组心智模型大致告诉我们，做梯度下降时放宽心（chill out）就好。

十三、总结与下一讲预告

• 盆地模型：在合适条件下，模型可以被平均，得到的模型比任何一个端点都强。这把“训练出多个解”从浪费变成了资源。
• 河谷模型：优化过程是带噪的震荡，最终受益于学习率退火，或轨迹内部的权重平均（EMA / Polyak）。这解释了学习率调度为什么是必需的，而不只是调参技巧。
• 临界点分析：局部极小与鞍点并不像朴素直觉那样可怕；高维几何让“全正特征值”的坑变得指数级稀有，而梯度下降本身就能绕过严格鞍点。
• 下一讲：尖锐度——即 Hessian 的最大特征值——在训练过程中如何演化？神经网络训练又是如何保持稳定的？

附：参考与延伸阅读

编者补充

• Lanczos 迭代
• 牛顿法

已知疑点

1. 局部极小的特征值符号前后不一致。讲义第 38 页写“local minima（all negative）”，而第 54 页写“local minima（positive Hessian eigenvalues）”。按定义局部极小应为全正特征值，第 38 页应为笔误，正文按第 54 页处理。
2. NQM 中的预条件记号未给出定义。第 34 页说“可以把预条件建模为 $p=1$（下面对 Hessian 特征值 $h_i$）”，但讲义没有给出对应公式或 $p$ 的定义，本讲无法还原该式的确切含义。正文只保留了定性结论（最优预条件收敛更快，但可能抬高稳态风险）。
3. 第 41 页的玩具分析没有公式。原文只说“单方向、$B=1$、$h_i=1$”，曲线的纵轴与具体递归都未给出。正文中的一维推导属于我的补充（已标为编者拓展），不是讲义内容。
4. 第 58 页“1 dimension”一句含义含糊。原文为“In this model with 1 dimension, an exact saddle is zero probability”。我的理解是“在一维参数空间中不存在严格鞍点，故概率为零”，正文按此解释；但它也可能指“在一维随机场模型中”，含义不同。
5. 第 60 页的术语与引用标题冲突。正文写作“nonconvex matrix multiplication”，所附标题为 Matrix Completion has No Spurious Local Minimum，两者指涉不同问题，已按标题处理。
6. 第 27 页的“mode-connected”用词。原文为“the final checkpoints is mode-connected to the initialization”，其中“mode-connected”可能是“linearly connected / mode-connected（模式连通）”的混用；正文按“存在低损失路径”理解。
7. “d8 模型”的含义材料未交待。第 12 页只说“两个默认 d8 模型”，d8 指宽度、深度还是作业框架的某个预设档位，讲稿没有说明，正文只按“默认小模型配置”处理。
8. 两处拼写错误。原文的“Lancsoz”应为 Lanczos，“Gauss-Newtown”应为 Gauss-Newton；正文已改正并在首次出现处标注。
9. 部分引用的年份/出处不全。第 63 页 Saddle-to-Saddle 一文未给作者；Meterez et al. (2026)、Skorokhodov and Burtsev et al. (2025) 为课程当年的新工作，卷期与完整作者列表材料未提供，正文只按讲义给出的作者与年份引用。
10. “hull induced by averaging”的译法。第 15 页的 hull 我译为“由平均诱导出的权重包络”，指沿插值路径评估得到的性能集合；若原意是凸包（convex hull）的严格数学含义，译法需要修正。
11. 编者拓展中的外部信息。第七节 Gauss-Newton 与 Hessian 的关系式引自 Nocedal & Wright 的教科书，第十二节 Saddle-to-Saddle 的作者与 arXiv 编号、第十一节的“$2^{-d}$”启发式论证，均为我补充的外部知识或自推，讲义原文没有，证据强度已在原处说明，请读者自行核对。
12. 与 sp26 旧讲次的重叠情况无法核对。本材料只包含 CS312 的幻灯片与课程信息，未涉及 sp26 系列的内容清单，因此本讲没有引用或链接旧讲次来避免重复；梯度下降、学习率等前置概念只做了最小限度的回顾。