第15讲 · 与机器对话：模型可解释性、知识编辑与超人类概念
课程信息 Stanford CS224N: Natural Language Processing with Deep Learning（2023 冬季）第 19 讲
讲者 Been Kim（谷歌大脑 Google Brain 高级研究科学家，MIT 博士）
主持与介绍 Christopher Manning
视频地址 https://www.youtube.com/watch?v=cd3pRpEtjLs
视频 ID cd3pRpEtjLs　时长：约 71 分钟

对应讲次：第15讲（Stanford CS224N 自然语言处理）

制作模型：deepseek-flash（vb compose，据 run.log）

整理说明：本书由课堂演讲字幕重构而成，按书面语改写、去除口语与重复，保留讲者的类比、案例与推理链。凡属编者补充的内容，均以「编者说明」「编者拓展」明确标注，绝不冒充讲者原话。

导览

这一讲老师想回答的核心问题

Been Kim 开场就把自己整场演讲定义为一个「追梦」的故事，她提出的问题不是教科书式的「什么是可解释性」，而是一连串她真正挂在心上的疑问：

  1. 「机器到底知道什么？我们以为它知道什么？这两个东西对得上吗？」
  2. 「我们能不能用人类能懂的语言，和机器对话——就像和一位很厉害、但很古怪的同事对话那样？」
  3. 「AlphaGo 那手没人看得懂的第 37 手（move 37），它在想什么？我们能不能有一天真正理解它？」

她把最终目标定为：通过与机器对话，为人类在医学、科学等重要问题上打开新的视角，并认为这件事在某种意义上「是解决 AI 安全问题的超集」。

难点在哪

读者可能带着的疑问

① 老师真正提出的问题（她的原话与顺序）：

② 编者预判的读者疑问（CS 初学者视角，编者预判，非讲者提出）：

本讲路线

讲者先把「梦想」和「机器 vs 人类表征空间」的地图铺开，随后分两大块展开：第一部分反思理解工具本身（显著图 / SHAP / IG / 因果追踪为何让我们失望），得出「也许我们该先做地基工作」的结论；第二部分把机器当作「野外新物种」，用观察研究（多智能体涌现行为）和控制实验（概念瓶颈 + 干预）去研究它；最后收尾于一个正在进行的国际象棋项目——试图教世界冠军 Magnus Carlsen 一个超人类的棋类概念。

编者说明：本讲是 CS224N 的客座讲座，讲者以研究者第一人称叙述自己参与的多项工作，因此包含大量「我们试过 A → A 失败 → 于是一步步改」的过程。本书刻意保留了这些思想的起源与弯路——它们正是结论的来处，删去就只剩下无根的断言。

讲者介绍与开场

(参考时间: 00:05)

Manning 教授这样介绍今天的讲者：Been Kim 是谷歌大脑（Google Brain）的高级研究科学家（"staff" 这个职级前缀说明她是一位相当资深的研究者）。她最早在首尔大学读机械工程，之后转向计算机科学，并在 MIT 完成博士，从那时起就开始研究机器学习模型的可解释性（interpretability）与可解释性（explainability）。

编者说明：Manning 特别点出他本人最欣赏 Been Kim 近期工作的一个主题——我们应该用更高层的、人类可理解的语言，来完成人与机器之间的交流。这其实就是整场演讲的题眼，后文所有技术讨论都围绕它展开。

Been Kim 上台后先自嘲了一下天气：这是她见过的「雨最多的斯坦福」，不过因为她住在西雅图，这算是家常便饭，所以今天她还是看到了蓝天，觉得「这样也行，我挺喜欢这里」。玩笑过后，她进入正题：「今天我要分享一些我的梦想——追逐与机器交流的梦想。」

(参考时间: 01:48)

一、梦想：我们为什么要和机器对话

(参考时间: 01:42)

1.1 强大但令人不安的大模型

如果你在学这门课，你多半会同意：大语言模型和生成模型很酷、很惊人。但你可能也会同意，它们有点吓人——不只是因为它们做得很好，而是因为我们并不确定要把这项技术带向何方。

十年后回望，我们会说这项技术净是正面的吗？还是会说「那是场灾难，我们当初根本不知道会发生这种事」？

讲者有一个非常具体的私人动机：她有个孩子，她想象十几年（甚至二十年）后孩子会问她——「妈妈，你当年在做 AI 这些东西吗？我看过你的一些演讲。你知道它会怎样深刻地改变我们的生活吗？那你为此做了什么？」 她希望自己能对这个问题有好的答案。

1.2 如果终极目标是造福人类，为什么不直接优化它？

讲者的核心想法是：如果我们最终的目标是造福人类，那为什么不直接朝这个方向优化？为什么要等？

一种「造福」的方式，是把机器当作一位同事——一位在某个领域很擅长、值得你向它学习的同事。但这位同事有点古怪：

那么，当你第一次遇到一个如此不同的「人」，你会怎么做？你会试着和它对话。 你会问它：

1.3 那个想对话的「外星人」：AlphaGo 与第 37 手

(参考时间: 04:32)

讲者说，有一个她特别想与之对话的「外星人」，那就是 AlphaGo。

AlphaGo 在 2016 年击败了世界围棋冠军李世石（Lee Sedol）。李世石来自韩国，讲者也来自韩国——她看完了每一场比赛。李世石当时在韩国乃至全世界都是超级巨星。

在其中一局里，AlphaGo 下了一步被称为第 37 手（move 37）的棋。讲者现场做了个互动：在座有多少人看过 AlphaGo 的比赛？有多少人还记得第 37 手？（举手的人不多。）

她回忆自己当时看到的一幕：那位一直滔滔不绝的九段解说员，突然安静下来，然后说了一句——「嗯，这步棋非常奇怪（a very strange move）。」

那一刻她就知道，眼前发生了非常有意思的事：AlphaGo 做出了一个我们将永远记住的东西。而事实证明，正是这步棋逆转了整局，帮助 AlphaGo 赢下了那一场。至今，围棋棋手仍在分析这步棋，仍在讨论：这不是一个人会想到的棋。

于是核心问题出现了：AlphaGo 是怎么知道这步好棋的？

编者拓展｜什么是「第 37 手」 2016 年 3 月，AlphaGo 对战李世石的第二局第 37 手，落在棋盘第五路（远高于人类惯常的第三/四路），是一步传统围棋理论认为偏「轻」、偏「损」的落点。AlphaGo 事后估计这步棋的人类下出概率约为万分之一。它最终成为制胜的关键。这个「机器走出人类难以理解的好棋」的时刻，正是讲者整场演讲反复回到的隐喻——机器可能知道一些我们尚未拥有词汇去描述的东西。

1.4 表征空间的重叠：对话的前提

(参考时间: 06:26)

对话要成立，前提是双方共享一部分词汇，这样才能交换意义、最终交换知识。因此表征（representation）在对话中扮演关键角色。

讲者画出一张「梦想地图」——两个圆：

graph LR
    subgraph 人类
        A["可表达的概念<br/>例如：这只狗毛茸茸的"]
    end
    subgraph 机器
        B["move 37<br/>人类尚无表征"]
    end
    A --- H["重叠区<br/>对话在这里发生<br/>重叠越多，对话越好"]
    B --- H
    A -. "人类可以通过学习新概念<br/>扩展自己的圆" .-> A

两个表征空间必须有重叠，重叠越多，对话越好。而人类很擅长学习新东西——「在座每个人都在学新知识」——所以我们可以通过学习新概念和新词汇来扩展我们知道的圆。讲者相信，这样做能帮我们造出更好地与人类价值观和目标对齐的机器。

编者说明：这张「两个圆」的图是全讲的骨架。后面每一部分——无论是测试解释工具、研究多智能体行为、还是给棋王出题——本质上都是在扩大两个圆的交集：要么让机器说得更像人话，要么让人类学到新的概念。

1.5 先降低预期

(参考时间: 07:59)

讲者提前打招呼：「讲到最后，我们仍然不知道第 37 手是怎么下出来的。抱歉，那还需要很长时间。」

事实上，本讲第一部分讲的甚至是我们在这一进程上的『倒退』——但即便如此，它也只是整个旅程中极小的一步。而且这条路不会是单行道，会有很多分支进来：就像 Transformer 这样的核心思想惠及了许多领域一样，这里也会如此。

她预告了结构：第二部分讲她们在强化学习中理解涌现行为（emerging behaviors）的一些工作；而她讲到的所有技术原则上都适用于 NLP。

二、第一部分：我们真的知道机器知道什么吗？

2.1 一个被忽视的鸿沟

(参考时间: 09:05)

回到梦想。实现梦想的第一步是退一步问：我们有没有工具，先估计一下机器到底知道什么？

过去十年机器学习确实发展出了很多工具，用来理解和估计「机器知道的圆」（讲者图中那个紫色圆）。但这些估计准吗？

不幸的是，近来的许多研究显示：机器实际知道的东西和我们以为机器知道的东西之间存在巨大鸿沟。找出并弥合这个鸿沟之所以重要，是因为这些工具是理解第 37 手的基础。

graph TD
    R["可解释性方法<br/>(显著图 / SHAP / IG)"] --> Q{"这些工具真的<br/>反映了模型行为吗？"}
    Q -->|理想假设| A["机器实际知道 = 我们以为机器知道"]
    Q -->|近年研究显示| B["两者存在巨大鸿沟"]
    B --> C1["假设错了<br/>机器在完全不同的表征空间"]
    B --> C2["预期错配<br/>以为它做 X，其实做 Y"]
    B --> C3["超出人类理解<br/>它在展示超人类的东西"]

2.2 什么是显著图（Saliency Map）

(参考时间: 09:50)

显著图是最流行的可解释性方法之一。讲者用图像分类举例：在ImageNet里，我们有一张「鸟」的图片。显著图的解释形式是同一张图，但每个像素都带一个数，这个数被认为代表该像素对预测这只鸟的重要程度。

重要性的一种定义是：这个数字刻画了函数在这个像素附近长什么样。比如某个像素 $x_j$：

graph LR
    P["选定像素 x_j"] --> S["在该点附近采样"]
    S --> E["评估函数输出"]
    E --> U{"函数在附近的斜率"}
    U -->|"+ 向上"| I["特征重要<br/>(增加 x_j 提升预测)"]
    U -->|"平的"| N["特征无关"]
    U -->|"− 向下"| D["特征重要<br/>(方向相反)"]

编者拓展｜显著图、SHAP 与 IG 的关系 显著图是一个大类，泛指「给每个输入特征打分」的方法。讲者后面反复提到的两种具体方法是： - Integrated Gradients（IG，积分梯度）：沿从基点到输入的路径积分梯度，可以看作「把附近的斜率一路累加起来」。 - SHAP：把博弈论中的沙普利值（Shapley value）引入特征归因，给每个特征分配一个「公平贡献」。

它们都声称满足「归因 = 贡献」——即某个特征分到 0，就可以认为模型没用它。这正是讲者接下来要推翻的那个「看起来很自然」的推论。

2.3 为什么会有鸿沟？三种猜想

(参考时间: 11:01)

讲者列出几种可能的解释（并不穷尽，彼此略有重叠，但有助于思考）：

  1. 假设错了：我们训练出的机器工作在完全不同的表征空间，有完全不同的世界经验。我们假设它「看世界的方式和我们一样」（比如像人类那样有格式塔倾向、会把几个点连起来看），也许它有，也许它没有。
  2. 预期错配：我们以为它在做 X，其实它在做 Y。
  3. 超出人类：它展示的东西是超人类的，人类根本理解不了。

2.4 一个令人震惊的发现

(参考时间: 12:08)

回到显著图。2018 年，讲者团队在做一个完全不同的论文时，偶然撞见一个现象，非常震惊：

训练好的网络和未经训练的网络，给出了几乎相同的显著图。

换句话说，随机的预测和有意义的预测，给出了同样的解释。他们一度以为代码有 bug，但结果证明没有——这两者在定性和定量上都难以区分。

他们没有止步，继续追问：「也许这只是个例外，也许它在实践中仍然有用？」 于是在后续论文中，他们有意给模型注入各种错误——标签错误、伪相关（spurious correlation）、测试时的分布外（out-of-distribution）输入——然后看解释方法能不能告诉你「模型出问题了」。结果同样不成立。再一篇后续工作也表明，伪相关的情况也不成立。

讲者坦言：「我们很失望。」

但他们仍不死心：「也许没有理论证明；也许这只是实验室设定；也许还有希望。」于是有了更近期的工作——在理论上证明：一些非常流行的方法不能比随机猜测做得更好。（讲者还特意补充，作者名单里漏写了 Pang Wei Koh，这项工作是与他合作的。）

2.5 把「工具可不可信」变成假设检验

(参考时间: 14:07)

我们原本的期望是什么？ IG 和 SHAP 的原论文说，IG 可以用于核算每个特征的贡献。其推论是：当工具给某个像素零归因时，我们会说「这个像素没被函数用到」——也就是函数 $F$ 对这个 $x$ 的扰动不敏感：

$$ \text{若归因}(x_j)=0 \;\Rightarrow\; F \text{ 对 } x_j \text{ 的扰动不敏感} $$

这在实践中被广泛使用。讲者举了一篇发表在 Nature 上的论文为例：研究者用 SHAP 来决定一项医学试验的入组标准。而她们的工作证明：这些看起来理所当然的推论，没有一条是真的。仅仅因为某个流行的归因方法告诉你「归因是 X」，你并不能对模型的真实行为下任何结论。

那么理论证明是怎么做的？讲者的思路非常朴素：先把这个我们没有现成工具的问题，转化成另一个我们已知怎么解的问题。

graph LR
    A["原始问题：<br/>归因值能否反映模型行为?"] --> B["重新表述为：<br/>假设检验"]
    B --> C["假设 H：<br/>『用户认为特征 x_j 重要』是否成立?"]
    C --> D["用统计学工具<br/>检验 H"]
    D --> E["结论：<br/>无法比随机猜测更好地<br/>验证/证伪 H"]

具体地，把问题表述成假设检验（hypothesis testing）——因为一旦变成「是 / 否」，统计学里就有大量工具可用。这里的假设是：我是一个用户，我从某个归因工具拿到了一个归因值，我对「这个特征重要 / 不重要」有一个心智模型；假设检验要问的是这个判断成不成立。

她们的结论是：无论你有什么样的假设，你都无法比随机猜测更好地验证或证伪它。 换句话说，它有时是对的，但你不能在「猜对和猜错一样可能」的情况下还去做假设检验——那有什么意义？

她们用一个可视化呈现结果：横轴真负率、纵轴真正率，那条对角线就是随机猜测（既是最差方法也是最好方法的等距线）。而 SHAP 和 IG 这些已知方法，全部落在随机猜测线下方。

编者说明：ROC 空间中，对角线 y = x 代表「与随机猜测无异」；落在线下方意味着比随机还差。讲者的意思是这些归因方法对「模型有没有用某特征」这件事，判断力连掷硬币都不如。这是本讲第一部分最反直觉、也最关键的结论。

2.6 在实践中也成立吗？

(参考时间: 16:55)

「也许实践中因为某些原因仍然管用？也许我们的某些假设在实践中不成立？」她们于是检验了两个人们真正在意、且真的会用这些方法去做的具体终端任务：

结论是：这两个任务都归到前面那个假设检验框架里，结果它们全都落在随机猜测线附近，甚至更差。

编者说明：「追索」这个概念在算法公平性领域非常重要——它指的是「一个人要改变什么，才能改变模型对自己的判决」。如果归因工具连这个都算不准，那么据其给出的人生建议（「你去多读个学位就能拿到贷款」）就可能是有害的。

2.7 那怎么办？回到奥卡姆剃刀

(参考时间: 18:01)

难道这些工具就不能用了？讲者的建议是：用一个非常简单的想法。

她先开了个玩笑：「很多人喜欢开发复杂的工具，我真希望你不是那种人，因为很多时候简单方法就管用——奥卡姆剃刀。简单方法优雅，它之所以常常有效，是有原因的：你能理解它，它讲得通。」

最简单的办法是什么？你要估计函数的形状，那就：

  1. 取一个感兴趣的点；
  2. 在该点周围采样；
  3. 评估函数：如果往上走，函数可能在上升；往下走，可能在下降。

这就是最朴素的暴力做法。但随之而来的问题是——我们需要多少样本？

(参考时间: 19:01) 讲者给出样本复杂度的直觉：你希望把误差这条「线」往上抬得越少越好，所需的样本量与以下因素成比例：

$$ \text{所需样本数} \;\propto\; \frac{\text{输出分辨率} \times \text{特征维度}}{\text{可容忍误差}} $$

更精确地说，样本数取决于：

编者拓展｜为什么高维会让归因方法崩溃（与讲者结论的直觉连接） 在一个 $d$ 维输入空间里，要对一个点周围做「足够密」的采样，所需的样本数大致随 $d$ 指数增长（$N \sim \varepsilon^{-d}$）。而归因方法本质上是在一个点附近估计函数的局部形状。当 $d$ 很大（图像有百万级像素、语言模型有上万维激活）时，任何有限采样都无法逼近真实局部形状，方法只能退化成「猜」。这正是讲者理论结论的直觉来源：不是方法实现得不好，而是在高维下「局部形状」这个目标本身就无法被有限样本确定。

2.8 死心了吗？还没有

(参考时间: 19:59)

讲者并没有彻底放弃，因为这些方法在经济学里有很深的根基（如沙普利值）。所以也许存在一些很窄的条件，在那些条件下这些方法确实有效。她们相信这样的条件是存在的，只是还没找到「什么时候」。

一旦找到了，你就可以对给定的函数做一次测试：「是的，这里我可以用 SHAP；是的，这里我可以用 IG；不，这里不行。」——这本身仍然非常有价值。这是正在进行的工作。

2.9 现场问答

(参考时间: 20:55)

问：这些结论只适用于计算机视觉模型，还是也适用于 NLP 语言模型？ 答：适用于任何有函数的模型。 这是最简单的证明，它表明结论对任何函数都成立。

问（Chris）：过去几年至少有几十甚至上百篇论文在用沙普利值。你猜大部分工作是无效的，还是因为那些让方法成立的条件常常被满足，所以很多其实是 OK 的？ 答：有两个回答。

  1. 从假设检验的结果看，它是随机的；所以乐观地说，那些论文里可能有 50% 是「碰巧命中」。
  2. 从另一个角度：即便 SHAP 不完美、甚至有点错，只要它最终帮助了人类完成终端任务——比如帮医生更高效地发现问题——并且他们用正确的对照组做了验证，那我认为就是好的。你可能找到了某种办法，让这些嘈杂的工具配合人类在环（human-in-the-loop）工作，那也很好。

讲者补充：她个人非常喜欢 SHAP 那篇论文，和作者 Scott 是好朋友，也喜欢他的所有工作。她只是觉得我们需要收窄自己的预期，使预期与实际相符。

编者说明：这段问答很关键——讲者并非在「否定 SHAP/IG 没价值」，而是在区分两件事：（1）方法能否支撑关于模型行为的强结论（答案：不能）；(2) 方法作为人机协作中的启发式工具是否有用（答案：可能有，但必须靠严格的人类实验来验证）。初学者最容易把这二者混为一谈。

三、第一部分续：定位知识 ≠ 编辑知识

3.1 又一个「巧合之作」

(参考时间: 22:50)

讲者讲另一个「味道相似」的工作，这次是 NLP 的。这又是一篇「偶然之作（serendipity paper）」。

最初，实习生 Peter 想在大语言模型中定位「伦理知识」，然后编辑它们，让模型更符合伦理。她们打算用 David Bau 的 ROME 论文的方法（讲者也很喜欢 David 的工作）。然而，一开始深入实现 ROME，事情就对不上了。她们做了一次又一次的健全性检验（sanity check），最后写下了一篇完全不同的论文。

3.2 ROME 想做什么

(参考时间: 23:41)

ROME 的核心承诺是：先定位模型中的知识（例如「太空针塔在西雅图」这个事实），再编辑它。因为「你能定位它」，所以「你能修改它」——这几乎是文献里为定位/编辑方法辩护的通用逻辑。

但她们证明：这个假设并不成立。

讲者坦承：「说实话，我至今也没完全搞懂为什么它不成立。这是个大问题，也是我们非常活跃的研究方向。」 具体结论是：

3.3 ROME 的因果追踪算法

(参考时间: 25:26)

讲者简要介绍 ROME（Meng et al., 2022）的工作方式，核心是因果追踪（causal tracing）：

  1. 在一个反事实数据集上运行模型，数据是（主体 subject, 关系 relation, 客体 object）三元组，例如「太空针塔 — 位于 — 西雅图」。
  2. 做一次干净运行（clean run）：输入「太空针塔在西雅图」，存储每一个模块、每一个激活值。
  3. 做一次损坏运行（corrupted run）：在「太空针塔」这段上加噪声。
  4. 然后逐个模块地干预：把干净运行中该模块的激活复制到损坏运行里，仿佛这个模块「从未被加噪」。
  5. 看结果：给定我对模型加噪并干预，正确答案「西雅图」的概率是多少？

这是一种典型的干预（intervention）思路——「其他条件不变，只改这一个模块，会怎样」。

graph TD
    D["反事实数据<br/>(subject, relation, object)<br/>『太空针塔 位于 西雅图』"] --> C1["干净运行<br/>存储每个模块的激活"]
    D --> C2["损坏运行<br/>(在主体上加噪声)"]
    C1 --> I["逐个模块干预：<br/>把干净激活复制进损坏运行"]
    C2 --> I
    I --> S["计算正确答案『西雅图』的概率<br/>= 恢复程度"]
    S --> G["得到热力图：<br/>每一层 × 每一 token 的分数"]
    G --> K["恢复概率高 ⇒ 该处存储了知识"]

最终得到一张图：每一层、每一个 token 都有一个分数——「如果我在这层这个 token 上干预，我有多大可能恢复正确答案？」恢复得越好，说明该处「存着」知识。讲者评价：「这是非常合理的算法，我找不到它的技术缺陷，实际上我相当喜欢它。」

3.4 问题出在哪：第 6 层其实远非「知识之层」

(参考时间: 27:24)

然而，当她们用 ROME 使用的同一个模型 GPT-J 复现时，发现了问题。ROME 只用第 6 层来编辑，因为在那个数据集上，第 6 层被认定为「最好的层」，并展示了编辑成功的结果。她们还做了扩展论文 MEMIT，编辑多层。

但真相更像右图所示：

结论是：没有多少事实落在那片区域里。事实上，每一个事实的峰值层都不一样——对很多事实来说，第 6 层根本不是最佳编辑层。

但奇怪的是——编辑确实有效，她们成功复现了结果。这很矛盾。

3.5 相关性的崩塌：R 方告诉你真相

(参考时间: 28:53)

她们先定义两个指标：

然后画出「追踪效应 vs 重写分数」的关系：

她们没有停在单层。对每一层都做分析，计算 R 方（R²） 值——衡量「层选择 / 追踪效应」能在多大程度上解释「编辑成功」的方差。

编者说明：R² 可以理解为「某个因子对结果的解释力」。R² = 1 表示完全解释，R² = 0 表示毫无解释力。讲者接下来给出的数字非常有冲击力。

结果：

$$ R^2(\text{层选择}) \approx 0.94, \qquad R^2(\text{追踪效应}) \approx 0.016 $$

也就是说，「选哪一层」解释了约 94% 的编辑成功差异，而「定位得准不准」几乎只解释了 1.6%。他们反复核查，换模型、换数据集，结论大体一致。困惑之下，她们联系了 David Bau，对方也承认这个现象确实存在。

3.6 现场追问：token 呢？

(参考时间: 30:34)

问：除了层，定位还可以体现在「有没有看对正确的 token」上，对吗？ 答：是的。在这张图里 token 是在的。且看哪个子词（sub-token）其实都差不多。层才是最大的因素——如果关心编辑，你唯一该关心的就是层。事实上你根本不用担心定位，那只是额外浪费的碳排放。

问（继续）：所以定位唯一能帮你的就是「找对子词」？ 答：是的，就层而言。层是最大的因素。

3.7 换一种「编辑」定义，还是不行

(参考时间: 31:35)

讲者继续自问：也许 ROME 用的「编辑定义」不同？也许存在一种编辑定义，能与定位更好地相关？「一定有的吧。我还是很困惑，为什么它们不相关？」 于是她们尝试了多种编辑定义：

全都不行。 下方图表展示了四种方法的 R² 值，蓝色与橙色柱的差值代表追踪效应的影响——可忽略不计，所有方法基本一样。「强制事实（fact forcing）」看上去有一点希望，但与「选层」的影响相比仍然可忽略。这个问题不只出现在 ROME/MEMIT 上，也出现在微调（fine-tuning）方法上。

3.8 小结与未解之谜

(参考时间: 32:28)

定位能帮助编辑吗？不能。 对这一（据她所知相当前沿的）编辑方法、在这份反事实数据上，两者的关系是零。有没有别的编辑方法与定位相关性更好？没有。

讲者说：「如果谁能为我回答这个问题，那会非常令人满足。我觉得这里一定还有什么是我们漏掉的。」

她给出一个暂定的理解：

因果追踪揭示的是「Transformer 前向传播时，事实信息在何处被传递」，它表示事实在那一刻『在哪』；但我们发现这与编辑能否成功毫无关系。这是两码事，我们必须设法解决它。

不过，ROME 论文里的很多洞见仍然有用——比如早期到中期层、在最后一个 token 上的表征，承载了事实信息，这是我们以前不知道的。现在我们知道了两条重要的教训：

（讲者开玩笑地问全场：「你们难道不震惊吗？我可是仍然非常困惑，这里一定有什么我不知道的东西。」）

编者说明：这一段「定位 ≠ 编辑」是讲者对当前可解释性文献的一个重要提醒。很多后续论文会写「因为我们能定位知识，所以我们就能安全地编辑知识」，而这项工作用 R² ≈ 0.016 直接把这条逻辑链量化地打断了。初学者读到「模型编辑」「知识定位」相关论文时，应当留意这个反例。

3.9 第一部分总结：做一个「会怀疑」的研究者

(参考时间: 34:29)

第一部分到此结束，总结如下：

编者说明：这段话虽像「心灵鸡汤」，但它是讲者从上面那些「期待落空、结果反直觉」的真实经历中总结出来的方法论，对读者（尤其初学者）很有价值：科研的常态是发现自己的假设错了，而不是验证自己早就相信的东西。 请把它当作第一部分真正的「结论」看待。

四、第二部分：把机器当作「野外新物种」来研究

4.1 也许要先做「地基工作」

(参考时间: 35:26)

回到梦想。讲者意识到：也许我们不该急着造理解工具，而要先做一些地基工作（groundwork）。 我们一直试图让这个「外星人」生成解释，但它似乎是另一种类型的存在。也许我们应该把它们当作野外的『新物种』来研究。

那么，观察到野外新物种你会怎么做？有两种做法：

  1. 观察研究（observational study）：远远地看着它们，记录它们的习性、栖息地、价值观；
  2. 受控实验（controlled study）：主动干预，做对照研究。

讲者接下来讲她们在强化学习里做的这两类工作。

graph TD
    N["新物种式的研究对象"] --> O["观察研究<br/>只能观察 (状态, 动作)"]
    N --> I["控制实验<br/>允许主动干预"]
    O --> P1["论文一：多智能体<br/>涌现行为可视化"]
    I --> P2["论文二：概念瓶颈<br/>+ 干预实验"]

4.2 观察研究（一）：多智能体系统中的涌现行为

(参考时间: 36:29)

讲者提到 OpenAI 的捉迷藏（hide-and-seek）视频：「谁看过？太酷了。如果你没看过，去 Google 一下看看——非常吸引人。」她只能讲冰山一角，但值得一提：在捉迷藏这个情节最后，智能体们发现了一个物理系统的 bug，开始反重力地飞到空中，到处射击躲藏者。这类涌现行为非常多。此外还有 DeepMind 的类人足球和夺旗（capture the flag），同样涌现出大量有趣行为。

问题在于标签。 讲者指着幻灯片：那些标签（跑步、追逐、建堡垒、用斜坡）是由人类一帧一帧、费时费力地手工看完所有视频标注出来的。于是她们的问题是：有没有更好的办法来发现这些涌现行为？也许一些好的可视化能帮我们更好地探索这个复杂领域。

她们的做法：把智能体当作观察研究对象——只能观察「状态-动作对」（它们在哪、在做什么），然后通过聚类来发现智能体行为。就这么简单。

怎么聚类？ 用一个生成式模型（generative model）。讲者现场问课堂有没有讲过贝叶斯生成模型/图模型，得到的答案是还没有，于是她给出了直觉解释——

编者拓展｜生成式模型的「假设数据是怎么生成的」 讲者把生成式模型解释为「一个假想的数据生成过程」： 1. 先为整个系统生成一个联合潜在嵌入 $Z$（代表系统里所有行为的编号）； 2. 再为每个智能体生成一个自己的嵌入； 3. 每个嵌入与状态 $s$ 结合，就生成该智能体的策略（policy）——决定在状态 $s$ 下做什么动作； 4. 这一切产生我们看到的状态-动作对。

mermaid graph TD Z["联合潜在嵌入 Z ω<br/>(代表系统所有行为)"] --> ZA["每个智能体的嵌入"] S["状态 s"] --> POL["策略 π"] ZA --> POL POL --> SA["观测到的 (状态, 动作) 对"] 这是一个人为设定的结构（讲者原话：「这完全是我编的（completely made up）——这就是我对这些新物种如何工作的想法」），然后做推断去学出这些参数——和神经网络是同一门生意，只是多了点结构。求解方式之一是优化变分下界（她提到这属于「指数族」那套很酷的东西，并调侃这是 CS 228 的内容）。

编者说明：这里讲者用到的是变分自编码器 / 变分推断的经典套路（引入潜变量、优化变分下界）。初学者不必纠结推导，只要抓住：它是在「假装有一个隐藏的行为编号」，然后把观察到的行为聚类到这些编号上。

演示：MuJoCo 双智能体跑步

(参考时间: 39:47)

结果之一来自 MuJoCo。她们假装有两个智能体，一个控制后腿、一个控制前腿。右侧展示的是联合嵌入空间 $Z_\omega$ 与 $Z_\alpha$。

她现场操作一个在线可视化（可以去看）——「我来跑一下视频」：

这对数据本身只是一个洞见，但她可以快速识别出：这种「紧密映射」对应好的跑步行为，「分散映射」对应差的跑步行为——这是一件你可以相当高效做到的事。

演示：OpenAI 捉迷藏

(参考时间: 41:01)

然后是更有意思的：她们把框架用到 OpenAI 捉迷藏上。这个游戏看着简单，但结构复杂——100 维观测、5 维动作空间、4 个智能体。在这个工作里，她们假装不知道 OpenAI 给的标签，把标签混进输入里；只在事后才用标签给结果上色。

结果：

结论：能否仅通过观察就学到有趣的涌现行为？在这个域里，答案是是的。但她也提醒局限：

4.3 控制实验（二）：用概念瓶颈做干预

(参考时间: 43:31)

接下来这项工作她们真的用上了模型和奖励信号，合作者包括 Nico、Natasha 和 Shai Eynav。这次她们要干预，要有点侵入性。难点是：需要从零搭一个新的多智能体系统，才能做控制实验，同时不牺牲性能——要匹配整体系统的表现。她们成功了。

这项工作接续讲者 2020 年与斯坦福合作者的一个简单想法：在网络的中间瓶颈处嵌入概念（概念瓶颈，concept bottleneck）——「一个神经元代表树、另一个代表条纹」，然后端到端训练模型。

为什么这样做？ 因为在推理时你就可以干预：比如预测斑马时，「树」这个概念不应该起作用，那就把这个神经元置零再前传，看会发生什么。这在医疗场景尤其有用——有些医生不想要的特征，你可以消掉再测试。

这次是把概念瓶颈扩展到 RL。讲者坦言：「它并不像我们想的那么简单，结果相当复杂」——但本质上她们是在为每个智能体构建概念瓶颈。最终优化的目标和普通 PPO 一样，只是多了一项：最小化真实概念与估计概念之间的差异：

$$ \mathcal{L} = \mathcal{L}_{\text{PPO}} + \lambda \cdot \mathbb{E}\left[\; \lVert \text{真实概念} - \text{估计概念} \rVert^2 \;\right] $$

做这个是为了干预。 比如：「智能体 2，假装你看不见智能体 1，会发生什么？」

域一：Overcooked（煮汤协作）

(参考时间: 45:31)

第一个域是常见于强化学习的煮汤游戏（cooking / Overcooked）：两个智能体（黄、蓝）做汤。送三个番茄到锅有奖励；把盘子送到锅边有奖励；最终目标是在限定时间内尽可能多做汤。

这里用的概念本来就现成可用：智能体位置、朝向、是否拿着番茄、是否拿着盘子等等。你还可以调整环境：可以在两个智能体之间建一堵墙，逼他们合作才能做出汤；也可以放开，让他们独立或协作——随你选。

健全性检验：能不能检测出「协作 vs 不协作」这种涌现行为？

更有意思的部分（讲者说她当时也很困惑）：逐概念画图——干预「队伍位置」「队伍朝向」「队伍是否拿番茄」等等。结果是：干预「朝向（orientation）」时，性能下降最大，以至于她们相信朝向与协作高度相关。

讲者现场提问：「有人猜猜为什么吗？」（有学生答：朝向你就能预测他们下一步会去哪。）讲者证实：「正是如此！你当时在哪？我当时为这个问题把头发都抓掉了。」 她原本预期是「位置」最重要，但结果不是。

关键直觉：朝向是智能体关于『对方下一步要做什么』的第一个信号——「他们朝锅，就是要去做汤；他们朝番茄，就是要拿番茄。」

她还补充：这个图能识别『偷懒的智能体』。看最右边那个黄色智能体——「我们的朋友，就在背景里悠闲地待着。」训练 RL 总会出几个啥也不干的智能体。用这个图很容易识别：干预它对任何人的奖励都没有影响。（讲者开玩笑：「那一个就是我。」）

域二：Cleanup（清理与吃苹果）

(参考时间: 49:35)

第二个域更复杂，用来研究智能体间的社会动态（inter-agent social dynamics），这个域叫 Cleanup：四个智能体，只有吃到苹果（黄/绿的点）才有奖励；但如果不清理河流，苹果就不再生长。所以必须有人去清理河流。你可以想象：四个人都想收苹果时，可以搭便车——等别人去清理河流，自己再去收苹果。实际上，有时确实会这样。

这里的概念也很常见：位置、朝向、污染位置等等。

第一次画图讲了个故事：干预智能体 1 时，似乎对智能体 2 影响很大（看奖励、空闲时间、智能体间距离三张图——智能体 3、4 都还好，只有智能体 2 受影响）。于是她们以为「智能体 1 和 2 相关」。但她们疑惑：这个域里同时发生的事很多，我们怎么知道真是这样？

用「最笨的图」发现关系

(参考时间: 52:25)

于是她们多做一点工作——但不很多——构建一张图来发现智能体间关系。这是最简单、最笨的建图方式，但讲者说她喜欢简单的东西。

建图方法（她用电影类比）：

  1. 构建一个矩阵：每一行是一个对象（比如一部电影），每一列是该对象的特征（长度、类型……）；
  2. 把「要研究的这一行」扔掉，用所有其他行对它做回归，得到系数 $\beta$；
  3. $\beta$ 就是边的强度——「这部电影和那部更相关，和另一部不那么相关」。

于是图就出来了。这是最笨的做法，有很多不该这样做的注意事项，但它是最简单的。

她们把同样做法移植过来：节点 = 在智能体 $N$ 上对概念 $C$ 的干预；

$$ \text{矩阵的行列} = \text{「对某智能体某概念的干预结果」},\quad \text{用奖励、收集到的资源等作为特征} $$

这样得到的 $\beta$ 就表示干预之间的关系。而这些「干预结果」如果没有她们这套框架是拿不到的。

结果：一个更复杂的故事

(参考时间: 52:55)

（讲者说她本来准备了一张图，但来之前不小心删了，所以只能想象——）那张矩阵里，清晰地高亮出「智能体 1 与智能体 4」之间的关系，而仅此而已——这与她们原来的假设相矛盾。

于是她们深挖，看了大量回放去验证到底发生了什么。结果发现故事复杂得多：

原始统计量根本不会告诉你这背后的故事。 事实上，智能体 1 和 2 之间根本没有相关性、没有协作——只有在建了图之后，她们才意识到这一点。

讲者总结：这可能只是个例。但很多我们想检测的涌现行为，本身就常常是「个例」——而我们要的是触及真相，而不是停留在表面的统计量上。

最后，能否既支持干预又保持性能？ 能。图上红线与蓝线大致重合，说明性能保持住了。但她提醒：这些概念需要人来打标签，或者你得有办法拿到「位置、朝向」这类概念——这是她们希望未来能扩展的地方。

4.4 现场问答

(参考时间: 55:00)

（讲者邀请提问，教室里起初比较安静，她鼓励大家：「别害羞。」）

编者说明：本段字幕以「没有实质提问 / 气氛安静」为主，故不虚构问答内容。真正的实质性问答集中在讲者讲完国际象棋部分之后（见第七节）。

五、展望：教世界冠军一个超人类棋招

(参考时间: 55:13)

讲者坦白：她早先说「我们不会知道第 37 手的答案」，「我现在仍然不知道」。但她要分享一个正在进行、让她非常兴奋的工作。

她们在想：「理解第 37 手，会在我有生之年发生吗？」 她觉得也许不会，但她希望它发生。于是——做研究就是这样——你要先划出一块「稍微可解」的空间，然后去攻这个问题。这就是她们试图做的事：离理解第 37 手的终极目标更近一点。

5.1 AlphaZero 与「人类不知道的知识」

先问：多少人知道 DeepMind 的 AlphaZero？它是一个自我训练的国际象棋机器，等级分（ELO）高于任何人类；它还击败了 Stockfish——而几乎没有人类能击败 Stockfish。

在之前的一篇论文里，她们试图在 AlphaZero 网络中发现人类的国际象棋概念：「像『子力失衡（material imbalance）』这样的概念，何时出现在网络的哪一层、训练的哪个时间点？」 她们把这种图叫「what, when, and where」图。

她们还比较了人类与 AlphaZero 开局走法（opening moves）的演化——也就是下棋最初几步。图上左边是人类，右边是 AlphaZero，差异相当大。AlphaZero 似乎精通各种类型的开局：有的很激进、有的很无聊、有的瞄准长期战略、有的偏短期。非常不同。

这就引出了一个问题：AlphaZero 知道哪些人类不知道的东西？ 你难道不想知道吗？

5.2 研究目标与方法

(参考时间: 57:17)

目标：教世界冠军一个新的、超人类的国际象棋策略。

她们刚刚得到了 Magnus Carlsen 的同意——他是（当时的）世界冠军。（讲者插一句：「他刚输了一场比赛，我知道，但在我心里他仍然是冠军，而且他仍然是两个类别的冠军。」）

方法：

  1. 显式地『遗忘』现有的象棋策略——而这类数据她们有很多；
  2. 然后学习一张图（这次是更复杂的图），利用现有概念之间的关系去学习，从而对「新概念可能长什么样」有更多想法。

评估方式（讲者说这是她最喜欢这个工作的部分）：评估会是清晰的——不是让 Magnus 过来说「哦，你的工作挺好的」然后夸几句。不，Magnus 必须实际解一些题目（puzzles），我们能够评价他到底解出来没有——成功或失败，清清楚楚。

为什么能做这个工作？ 讲者说，完全是因为 Lisa——她本人是冠军，同时也是牛津的博士生，曾与 Magnus 对弈过，也和世界上许多棋手对弈过。她将作为面向超人类之前的最后一道过滤器，把筛选出的概念最终送到 Magnus 面前。「所以我非常兴奋。目前还没有结果，但很快就会有。」

5.3 题目怎么生成？

(参考时间: 59:04)

问：题目是怎么生成的？外面已经有那么多现成题目了。

答：题目其实很简单。生成概念是在 AlphaZero 的嵌入空间里做的。由于 AlphaZero 的架构很特别——它的每一个潜在层的空间布局都精确对应一张棋盘——所以我们可以识别或生成与该概念对应的棋盘局面。

又因为我们有蒙特卡洛树搜索（MCTS），我们可以预测在给定局面下它会走哪一步（推理时整个 AlphaZero 是确定性的）。于是我们得到大量棋盘局面，这就够了：

  1. 给 Magnus 一个局面，让他走一步；
  2. 解释这个概念；
  3. 再给更多局面，看他能否运用刚学到的概念。

补充：如果拿这些题去问 Stockfish，那是另一个问题——因为我们感兴趣的是能不能教会人类，不是 Stockfish。Stockfish 也许能解，那本身也是个有意思的事。但我们的目标是只教一个超人类：比如，如果我有 10,000 个超人类概念，而其中只有 3 个能被 Magnus 消化，那就是胜利——对这类研究是巨大的胜利。

5.4 现场问答（本讲最实质的一段）

(参考时间: 1:02:01)

问：可解释性研究横跨 NLP、视觉和 RL。你觉得把某个模态的可解释性技术迁移到其他模态，有多大希望？如果可行会是什么样？ 答：这取决于你的目标。 参考公平性研究——它建立在坚实的数学基础上，原则上可用于任何公平性问题。但一旦你的目标是真正解决某人（现实中活生生的人）面临的公平性问题，那完全是另一回事——你必须为具体应用做定制。所以这里其实有两条路线：

问（John）：我最近看到有业余围棋棋手找到了很刁钻的策略戏耍 AlphaGo。那似乎是「人类知道而机器不知道」的知识——正好在维恩图里。 答：巧了，你提到这个。Lisa 能相当轻松地击败 AlphaZero，道理类似：如果你知道哪些是最没见过的、分布外的走法，你就能相当轻易地击溃 AlphaZero。我猜，如果李世石当年更了解 AI，他也许会试试去「迷惑」AlphaGo。但真相是——这是一场高赌注的比赛。李世石是全球名人，他不想下出一步会被看作彻底失误的棋，就像 Magnus 前几天那一步被全网新闻报道为「世纪级失误」——那大概很受伤。

问：我对「能玩这些游戏、表现极好的模型」很感兴趣，但我更好奇它们如何被应用到 Google、Facebook 这样的实际应用里。现在世界上有正在使用的应用吗？ 答：我今天讲的这些工作都相当新。 不过机器人领域有一些关于潜在应用的讨论；当然，细节我不能谈。但现实中的强化学习部署，大家最担心的就是『意外（surprises）』。如果你有一个测试、一个单元测试，你永远不会失败，因为你在部署前就测过了。我认为任何这类部署系统最大的风险，就是那些你根本没预料到的意外。 所以我在可视化方面的工作以及其他工作，目的就是帮你应对这个：我们可能不知道这些意外叫什么名字，但这里有一个工具，能帮你在别人先发现、或别人先受害之前，更好地发现这些意外。

问：感谢。这是一个开放式问题。我们讨论了很多『我们如何可视化/理解机器内部表征』的方法。但我好奇，我们能否反过来——教机器用我们的语言告诉我们它在做什么？比如，我们先建立人类表征，然后让机器替我们做翻译，而不是我们钻进机器里去。 答：好问题。 这其实是我之前的工作 TCAV（Testing with Concept Activation Vectors） 尝试过的——把人类语言映射到机器空间，让机器用我们的语言说话，「因为我懂我的语言，就用我的语言跟我讲」。

挑战在于：你怎么为 AlphaZero 这样的东西做这件事？我们根本没有关于它的词汇——比如第 37 手。 那就会丢掉很多有价值的知识，我们可能无法从机器那里得到。所以我认为必须双管齐下：尽可能利用映射，但要承认即使把人话映射到机器，也不完美——因为它其实是我们「想象中某个概念是什么」的一个代理（proxy）。有心理学研究表明，每个人对「企鹅是什么」的想法都不同——「现在每个人脑子里想的都是不同的企鹅，对吧？澳大利亚有最可爱的企鹅——小蓝企鹅，我想的是那只，但我不知道有多少人想的是那只。」既然我们彼此都这么不同，机器想的又会是另一种东西。那你怎么弥合这个鸿沟？ 把它扩展到 100 个概念、还要组合，很快就失控了。所以有得有失。两条路我都支持。有些应用只用人类概念就已经非常有帮助，能帮你走一半路；但我的雄心是不止步于此——我们应该从中受益，让它们教我们一些我们以前不知道的新东西。

问：你第二部分讲的是「嵌入空间里知识的位置，与你想要改变它是否相关，相关性并不高」。你觉得这对后面讲的东西——比如在嵌入空间里定位棋类策略——有什么影响？会不会没有想象中那么有用？ 答：有可能。 也许它在 AlphaZero 里是我们嵌入空间的某个变换空间，也许它是施加在嵌入空间上的某个函数。那么把「定位」当成一个原始向量（raw vector）来看，可能是条死路。 至于这个国际象棋项目会怎样——几个月后见分晓。我可能会重新思考我的策略，但这是个有意思的想法。

问：我是心理学专业，我做过很多这类思考——我们通过『损伤（lesioning）』大脑的某些部分来搞清楚大脑如何工作。你觉得这个思路适用于神经网络吗？反过来，神经网络的这种可解释性研究，能帮我们理解自己的大脑吗？ 答：去和 Geoffrey Hinton 聊，他会很喜欢这个。 我认为这正是一切的起点——神经网络本来就是为理解人脑而生的。

不过，讲者补充了一个她自己的看法：我们在神经科学里的一些偏见，源自工具的限制（物理工具的限制、能用来做实验的人手有限），我认为这也在影响可解释性研究。她举了个例子：著名的「猫脑里的边缘/横向/纵向线神经元」实验——他们把探针插进猫脑，发现某个神经元检测竖线，而且能用视频验证，很酷。

「那他们为什么要那样做呢？因为只有一只猫——可怜的猫——而且你一次只能探测少数几个神经元，对吧？」 这就导致很多可解释性研究其实非常聚焦在『单个神经元』级别的表征上，好像『这个神经元一定很特别』。我其实认为这不是真的。 那只是受限于我们探测有机体的物理能力。但在神经网络里你不必这样——你可以对嵌入施加函数，可以把整个嵌入改掉、覆盖掉。所以那种『一个神经元必须很特别』的思维定式，其实是我们的障碍，而不是帮助。

编者说明：这段话是本讲一个容易被忽略的深意——讲者认为从神经科学借来的「单神经元可解释性」直觉，可能把可解释性研究带偏了。在人工网络里，我们没有「一次只能插一根探针」的物理约束，因此应当更大胆地用整体的、可干预的视角（比如改动整个嵌入）去研究，而不是执着于找「那个神奇的神经元」。

六、总结

(参考时间: 1:00:24)

讲者用一段话收束全场：

谢谢大家。

编者说明：讲完之后，Manning 教授上台致谢，并宣布课堂安排：周四没有讲座，但他和助教会在场，欢迎带着项目上的「最后时刻的慌乱」来聊。他最后打趣地说，Been 事实上今天还替 CS224N 讲了最后一课。

附：本讲知识地图速览

graph TD
    ROOT["核心问题：机器到底知道什么?<br/>如何与它对话?"] --> PA["第一部分：<br/>我们真的知道机器知道什么吗?"]
    ROOT --> PB["第二部分：<br/>把机器当新物种研究"]
    ROOT --> PC["展望：<br/>教世界冠军超人类棋招"]

    PA --> PA1["显著图 / SHAP / IG<br/>训练与未训练网络给出相同解释"]
    PA1 --> PA2["理论上：归因方法<br/>无法优于随机猜测"]
    PA2 --> PA3["实践中：recourse 与<br/>伪相关任务同样失效"]
    PA3 --> PA4["简单采样 + 样本复杂度<br/>更窄的适用条件待寻找"]

    PA --> PB0["定位 ≠ 编辑"]
    PB0 --> PB1["ROME 因果追踪算法"]
    PB1 --> PB2["R²：层选择 ≈ 0.94<br/>追踪效应 ≈ 0.016"]

    PB --> PBa["观察研究：<br/>多智能体涌现行为聚类"]
    PB --> PBb["控制实验：<br/>概念瓶颈 + 干预"]

    PC --> PC1["AlphaZero: 对比人类<br/>与机器的开局演化"]
    PC1 --> PC2["遗忘旧策略 → 学关系图<br/>→ 生成题目 → Magnus 解答"]

附：参考与延伸阅读

编者补充

已知疑点

本讲以口头演讲为主，字幕经由自动识别（ASR）整理，存在若干不确定之处，特此集中说明，供读者谨慎对待：

  1. 人名与企业名：
  2. 「Pang Wei」应为 Pang Wei Koh（讲者自己说「我漏了一个人」），书中已补全；
  3. 「Scott」指 Scott Lundberg（SHAP 的作者），但讲者只说「Scott」，字幕未给全名，编者按推断补全，请读者以官方作者名单为准；
  4. 「Nico、Natasha、Shai Eynav」为讲者口头提到的合作者，字幕拼写可能不准确（如 "Eynav" 的具体拼写无法核实）；

  5. 「Lisa」只给了名字，讲者称其「既是冠军，又是牛津博士生，曾与 Magnus 对弈」，具体身份未在字幕中确认。

  6. 术语与数字：

  7. 「第 6 层（layer six）」是 ROME 在 GPT-J 上编辑所用的层，字幕清晰；但讲者展示的柱状图的具体数值无法从字幕核实，书中只按其定性描述改写（「没多少事实落在那片区域」）；
  8. R² 的两个数值（层 ≈ 0.94，追踪效应 ≈ 0.016）来自字幕，其中「0.016」也近似可读作「0.016」或「1.6%」，书中统一写作 0.016 与 1.6%；

  9. AlphaZero 的「100 维观测、5 维动作空间、4 个智能体」针对的是OpenAI 捉迷藏（hide-and-seek），不是 AlphaZero；字幕在此处指代容易混淆，书中已按语境厘清。

  10. 表述含糊或与常识可能冲突之处：

  11. 讲者说「任何有函数的模型」都适用其理论结论——这是她的现场口头概括，严格结论应以原论文（归因方法在特定假设下的不可能性）为准，编者未擅自改写，但提请读者注意这是讲者本人的概括；
  12. 讲者多次说「我至今也不明白为什么定位与编辑不相关」，这是未解问题，书中如实保留，未替她给出答案；
  13. 「move 37 的人类下出概率约为万分之一」是编者拓展中补充的常见说法，讲者本人在字幕中未给出该数字，若需引用请核对原始资料；

  14. 讲者提到「Good artists steal, good researchers doubt」是对毕加索名言的现场改写，书中已注明为改写。

  15. 编者拿不准的判断：

  16. 讲者说该工作「原则适用于 NLP」，但她同时承认「在 RL 里那套生成式模型需要更多测试」、「还不知道怎么在 NLP 里思考智能体」——这两句有轻微张力，编者按「理论方法跨模态、生成式方法需验证」处理，若与讲者原意有出入，以其后续论文为准；
  17. 本讲正文中所有 SCREENSHOT: 截图指令，均仅依据字幕中明确出现「这张图 / 我们画了图 / 看这个视频 / 这个结果」等画面提示的时间点选取；字幕无法反映真实画面内容，个别时间点可能对准的并非该页幻灯片，请截图脚本运行时再行核对。