第26讲 · EECS 189：智能体（客座讲座）

UC Berkeley EECS 189/289A《机器学习导论》2026 春季 · 主题重构与知识补充 为什么这一讲没有幻灯片？ 它是线上客座讲座，日程表里只有一行标题。EECS 189 在学期末安排了两讲与智能体相关：第 26 讲（客座） 与 第 27 讲（LLMs, Agents, Environments，有完整录像/讲义）。本册可视为第 27 讲的前置/加深读本，系统补齐「智能体」的概念体系。

对应讲次：第26讲（UC Berkeley EECS 189 机器学习导论）

制作模型：deepseek-flash（coding-agent / pi；据 ~/.pi/agent/settings.json）

说明：因原讲座无公开材料，本册是一本主题重构 + 知识补充的读本：以课程「智能体」主线为骨、以 Hello-Agents 的系统化教程为肉整理而成。它不是原讲座的逐页复刻。

本讲路线图

1. 什么是智能体：定义、四要素、与传统智能体的区别、类型；
2. 发展史：符号主义 → 联结主义 → 行为主义（RL）→ LLM 智能体；
3. 运行机制：PEAS、Agent Loop（感知-思考-行动-观察）；
4. 经典范式：ReAct、Plan-and-Solve、Reflection；
5. 记忆与检索、上下文工程；
6. 通信协议：MCP、A2A、ANP；
7. Agentic RL：从 SFT 到 GRPO；
8. 评测：BFCL、GAIA、ToolBench 与指标；
9. 与第 27 讲的衔接：环境、可验证奖励、Terminal-Bench、GEPA、对齐。

一、什么是智能体？

1.1 定义与四要素

在人工智能中，智能体（Agent） 被定义为：任何能够通过传感器（Sensors） 感知其所处的环境（Environment），并自主地通过执行器（Actuators） 采取行动（Action） 以达成特定目标的实体。

它包含四个基本要素：

• 环境：智能体所处的外部世界（对自驾车是道路，对交易算法是市场）；
• 感知（Sensors）：摄像头、麦克风、雷达，或 API 返回的数据流；
• 行动（Actuators）：物理设备（机械臂）或虚拟工具（执行代码、调用服务）；
• 自主性（Autonomy）：这是「智能」的来源——它不是被动响应刺激，而是基于感知与内部状态独立决策。

感知 → 行动的闭环，是所有智能体行为的基础。

flowchart LR
  Env[环境 Environment] -->|感知 Sensors| A[智能体]
  A -->|行动 Actuators| Env

1.2 从「传统智能体」到「LLM 智能体」

在 LLM 热潮之前，智能体经历了清晰的能力阶梯（A Modern Approach 的经典分类）：

关键转折：传统智能体的能力来自工程师的显式编程；而 LLM 智能体通过在海量数据上的预训练，获得了隐式的世界模型与涌现能力，可以直接处理高层、模糊、充满上下文的自然语言指令。

以「规划一次厦门之旅」为例，LLM 智能体能够：

• 规划与推理：把高层目标分解为 [确认偏好] → [查目的地] → [拟行程] → [订票住宿]；
• 工具使用：主动调用天气 API、地图、预订服务来补全信息缺口；
• 动态修正：把用户反馈（「酒店超预算」）当作新约束，重新搜索推荐。

这是一个「查天气 → 调行程 → 订酒店」的闭环，展现了根据上下文动态修正行为的能力。

1.3 智能体的类型

（1）按内部决策架构：反应式 → 模型式 → 基于目标 → 基于效用，外加可赋予所有类型的学习能力（见 1.2 表）。

（2）按时间与反应性：反应式（Reactive） 与 规划式（Deliberative） 的权衡——速度 vs 最优解。

• 反应式：感知到行动的直接映射，快、省，但「短视」（安全气囊、高频交易）；
• 规划式：先系统探索未来再行动，有远见但慢（棋手预想十几步）；
• 混合式：现代 LLM 智能体正是混合式——在「思考-行动-观察」循环中，把宏大任务拆成一系列「规划-反应」微循环。

（3）按知识表示：符号主义（规则/逻辑，透明但脆弱）、亚符号主义/联结主义（神经网络，强大但不透明）、神经符号主义（二者融合）。LLM 智能体是神经符号的绝佳范例：内核是神经网络，过程中生成结构化的思想/计划/API 调用等符号。

flowchart LR
  R[反应式<br/>快·短视] --- H[混合式<br/>LLM 智能体]
  H --- D[规划式<br/>慢·有远见]

1.4 什么不是智能体：Workflow vs Agent

一句话：Workflow 让 AI 按部就班执行指令，Agent 赋予 AI 自由度自主达成目标。

• Workflow（工作流）：预先定义、结构化的步骤编排，本质是静态流程图（如报销审批：金额<500 → 经理审批；≥500 → 经理+财务）。每一步、每个判断条件都被精确预设。
• Agent（智能体）：以目标为导向、具备自主性——理解环境、推理、制定计划、动态行动。没有写死的 if 天气=晴 then 推荐颐和园，而是基于实时信息动态推理。

这也对应 bitter lesson（苦涩教训）：不要把你的解题方式写死，要让 AI 自己解。第 27 讲会进一步指出：tool use、RAG、硬编码 workflow 都不是真正的 agent；真正的 agent = LLM 在循环里 + 一个（理想的）终端。

二、智能体发展史

智能体的历史，是三大思潮半个多世纪交织、竞争与融合的历史：

1. 符号主义（Symbolism）：智能在于符号操作与逻辑推理。代表：西蒙、明斯基、SHRDLU、专家系统、深蓝。
2. 联结主义（Connectionism）：灵感来自大脑神经网络；辛顿等人推动的反向传播奠定基础，深度学习时代的 CNN、Transformer 成为主流。
3. 行为主义（Behaviorism）：智能体通过与环境互动、试错学习最优策略，现代化身为强化学习（TD-Gammon → AlphaGo）。

里程碑线索：

• 物理符号系统假说 → 专家系统：把知识写成规则库；遭遇「知识获取瓶颈」——现实充满模糊与例外，规则永远不完备。
• ELIZA（1966）：用模式匹配 + 文本替换造出「会聊天」的假象，揭示了「智能错觉」。
• 明斯基的《心智社会》：提出智能是多个简单智能体协作的产物——为今天的多智能体系统埋下理论种子。
• 学习范式的演进：符号 → 联结 → 强化学习 → 大规模预训练 → LLM 智能体。

进入 2020 年代，三大流派以前所未有的方式融合：GPT 是联结主义的产物，却成为执行符号推理、工具调用、规划决策的「大脑」，形成神经-符号结合的现代智能体架构。

flowchart LR
  S[符号主义<br/>规则/逻辑] --> N[神经符号<br/>融合]
  C[联结主义<br/>神经网络] --> N
  B[行为主义<br/>强化学习] --> N
  N --> LLM[LLM 智能体]

三、运行机制：Agent Loop

3.1 任务环境：PEAS 模型

用 PEAS 精确描述一个任务环境：Performance（性能度量）、Environment（环境）、Actuators（执行器）、Sensors（传感器）。

LLM 智能体的数字环境有四个复杂特性，直接影响设计：

• 部分可观察：只能通过 API 看到部分数据 ⇒ 需要记忆与探索；
• 随机性：两次调用结果可能不同（余票/价格波动）⇒ 需要处理不确定性；
• 多智能体：环境中还有其他行动者 ⇒ 需要快速响应与策略选择；
• 序贯且动态：当前动作影响未来，且环境随时变化 ⇒ 循环必须灵活适应。

3.2 智能体循环（Agent Loop）

核心机制是持续的循环：感知 → 思考 → 行动 → 观察。

flowchart TB
  O[观察 Observation] --> T[思考 Thought]
  T --> P[规划 Planning]
  T --> TS[工具选择 Tool Selection]
  P --> A[行动 Action]
  TS --> A
  A --> E[环境状态变化 State Change]
  E --> O

• 感知：接收环境输入（用户指令、上一步的反馈）；
• 思考：LLM 驱动——规划（分解目标）+ 工具选择（选工具与参数）；
• 行动：调用工具，改变环境；
• 观察：环境返回新结果，进入下一轮循环，逐步逼近目标。

3.3 交互协议：Thought / Action / Observation

工程上，智能体的输出不是单一自然语言，而是结构化文本，明确展示推理与决策：

Thought: 用户想知道北京的天气。我需要调用天气查询工具。
Action: get_weather("北京")
Observation: 北京当前天气为晴，气温 25 摄氏度，微风。

• Thought：内部推理的「快照」；
• Action：对外部世界的指令（函数调用形式），由解析器（Parser） 捕获并执行；
• Observation：把原始机器数据（如 JSON）封装成简洁自然语言，回馈给下一轮。

正是这个 Thought–Action–Observation 循环，把 LLM 的语言推理力与外部环境的真实信息与工具操作结合起来。

四、经典范式

4.1 ReAct：思考与行动协同

在 ReAct 之前：思维链（CoT） 只会「纯思考」，无法与外部交互、易幻觉；纯行动 型缺乏规划与纠错。

ReAct 的洞见是：思考与行动相辅相成——思考指导行动，行动结果反过来修正思考。每一步输出固定的 Thought → Action → Observation 轨迹，并把新观察追加到历史，直到模型在 Thought 中判定完成。

形式化地，在每个时间步 $t$，策略（LLM $\pi$）依据问题 $q$ 与历史 $((a_1,o_1),\dots,(a_{t-1},o_{t-1}))$ 生成思考与行动：

$$(th_t,a_t)=\pi\big(q,(a_1,o_1),\dots,(a_{t-1},o_{t-1})\big),\qquad o_t=T(a_t)$$

适用：需要外部知识（天气/新闻/股价）、精确计算（交给计算器）、与 API 交互（数据库/服务）的任务。

4.2 Plan-and-Solve：先谋后动

为解决 CoT 在多步问题上「偏离轨道」的问题，Plan-and-Solve（2023） 把流程解耦为两个阶段：

1. 规划阶段：先生成清晰的分步计划 $P=(p_1,\dots,p_n)=\pi_{\text{plan}}(q)$；
2. 执行阶段：严格按计划逐步执行，$s_i=\pi_{\text{solve}}(q,P,(s_1,\dots,s_{i-1}))$，最终答案是 $s_n$。

适用：结构性强、可清晰分解的任务（多步应用题、多信息源报告、代码生成）。

4.3 Reflection：执行 → 反思 → 优化

灵感来自人类「校对初稿、验算数学题」。Reflexion（2023） 的三步循环：

1. 执行：用 ReAct/Plan-and-Solve 生成「初稿」；
2. 反思：由「评审员」LLM 检查事实性错误、逻辑漏洞、效率问题、遗漏信息，产出反馈 $F_i=\pi_{\text{reflect}}(\text{Task},O_i)$；
3. 优化：结合反馈修订，$O_{i+1}=\pi_{\text{refine}}(\text{Task},O_i,F_i)$。

循环可多次进行直到收敛。价值：提供内部纠错回路（不只依赖外部工具的 Observation）、把一次性执行变成持续优化、并形成宝贵的短期记忆（记得自己如何从初稿迭代到终稿）。

成本收益：Reflection 会额外消耗 LLM 调用与 token，需在质量提升与成本之间权衡。

五、记忆、检索与上下文工程

5.1 为什么需要记忆与 RAG

LLM 的上下文窗口有限，且不记得之前的交互。记忆系统让智能体记住历史、RAG 让它从外部知识库检索。

5.2 四种记忆类型

• 工作记忆（Working Memory）：当前会话的临时信息，容量有限 + TTL 自动清理，纯内存、访问极快；
• 情节记忆（Episodic）：过去的具体交互/事件；
• 语义记忆（Semantic）：抽取出的事实与知识；
• 程序记忆（Procedural）：技能与流程。

检索常用组合词法检索：TF-IDF 词项权重相似度 + 关键词匹配，再配合时间衰减与重要性权重打分。

5.3 RAG（检索增强生成）

基础流程：把知识库切块（chunk）→ 向量化 → 查询时做内积相似度检索 → 取回相关块 → 拼接进提示 → 调 LLM 作答。这是「及时把正确信息放进上下文」的经典手段。

5.4 上下文工程（Context Engineering）

从提示工程到上下文工程：提示工程关注「如何写好指令（系统提示）」；上下文工程关注更宏观的问题——「什么样的上下文配置最可能让模型产出期望行为？」，即在推理时策划并维护最优的信息集合（tokens），包括系统指令、工具、MCP、外部数据、消息历史等。

为什么重要——上下文腐蚀（context rot）：随着上下文 token 增多，模型准确回忆信息的能力反而下降。这源自 Transformer 的 $n^2$ 注意力在长上下文下被「拉薄」。因此，上下文是有限资源、边际收益递减，模型有「注意力预算」。

有效上下文的解剖学（信息充分但紧致）：

• 系统提示：清晰、层级恰当，避免「过度硬编码的 if-else」与「过度空泛」两个极端；
• 工具：职责单一、低重叠、错误鲁棒、参数无歧义；若人类都说不清该用哪个工具，别指望智能体（追求「最小可行工具集 MVTS」）；
• 示例（Few-shot）：精选多样且典型的示例——好的示例胜过千言万语。

智能体式搜索与及时（JIT）上下文：从「推理前一次性 embedding 检索」转向运行时动态加载——维护轻量引用（文件路径、URL、存储查询），让模型用 head/tail/grep 等按需读取，实现渐进式披露（progressive disclosure），只在工作记忆里保留当前必要子集。混合策略常常最优：前置少量高价值上下文 + 允许按需探索。

第 27 讲把这一点提炼为：文件系统 = 智能体的长期记忆，命令行工具组合优雅，让 agent 能做远超编码的任务。

六、通信协议：MCP、A2A、ANP

让智能体与外部世界高效交互，需要标准化协议：

选型：需要访问外部服务 → MCP；多个智能体协作 → A2A；构建大规模智能体生态 → ANP。MCP 通过统一规范，让所有服务以相同方式被访问，并共享丰富上下文（如代码结构、依赖、提交历史），避免为每个服务写专门适配器。

七、Agentic RL：让智能体学会「做事」

7.1 从 PBRFT 到 Agentic RL

传统后训练（PBRFT，基于偏好的强化微调）关注单轮对话质量：给定问题 → 生成回答 → 给分。它对需要多步推理、工具使用、长期规划的智能体任务力不从心。

Agentic RL 把 LLM 视为可学习的策略，嵌入顺序决策循环：在动态环境中多步行动、获得中间反馈、优化长期累积奖励。用 MDP 对比：

例子：让智能体「分析某 GitHub 仓库代码质量」——调 API（+0.1）→ 读代码（+0.1）→ 分析（+0.2）→ 出报告（+0.6），总奖励 1.0。

Agentic RL 的目标是赋予六大能力：推理（试错学推理链，而非记忆答案）、工具使用（何时用、用哪个、如何组合）、记忆（管理学什么/何时忘）、规划（动态规划，愿意「绕路」）、自我改进（从错误中学习）、感知（多模态）。

7.2 SFT → GRPO

• SFT（监督微调）+ LoRA：用教师/人类产出的正确轨迹提高其概率；LoRA 做参数高效微调（只训练低秩适配器）。
• GRPO（Group Relative Policy Optimization）：PPO 的简化变体，无需 Value Model，用组内相对奖励代替绝对奖励，只需 Policy + Reference 两个模型，更简单、更稳定、更省显存：

$$J_{\text{GRPO}}(\theta)=\mathbb{E}\Big[\tfrac{\pi_\theta(a|s)}{\pi_{\text{ref}}(a|s)}\big(r(s,a)-\bar r_{\text{group}}\big)\Big]-\beta\,D_{\mathrm{KL}}(\pi_\theta\|\pi_{\text{ref}})$$

这与第 23 讲「RLVR（带可验证奖励的强化学习）」、第 27 讲「RL/GRPO、GEPA」完全衔接：只要奖励可验证，就能让 agent 自己 rollout、提高正确轨迹、降低错误轨迹。

八、评测：从问答到环境

8.1 主流基准

• 工具调用：BFCL（Berkeley Function Calling Leaderboard）（1120+ 样本，AST 匹配）、ToolBench（16000+ 真实 API 场景）、API-Bank；
• 通用能力：GAIA（466 个真实问题，分 Level 1/2/3，评估多步推理+工具+文件+浏览）、AgentBench、WebArena；
• 多智能体协作：ChatEval、SOTOPIA；
• 常用指标：准确性（Accuracy / Exact Match / F1）、效率（响应时间 / Token 用量）、鲁棒性（错误率 / 故障恢复）、协作（通信效率 / 任务完成度）。

8.2 评测范式的转变

• 旧世界：问答（MMLU），单轮、比对答案；
• 新世界：环境（environments）——任务 + 依赖/容器 + 可验证的测试，多轮、可交互、可验证奖励。代表：Terminal-Bench、SWE-bench、OS World（详见第 27 讲）。

九、与第 27 讲的衔接：环境、奖励与前沿

第 27 讲（有完整录像/讲义）从「产业与研究现状」角度讲同一主题，与本册互为补充：

• 真正的 agent = LLM 在循环里 + 终端；tool use / RAG / 硬编码 workflow 都不是。
• 文件系统 = 长期记忆（本册 §5.4 的「及时上下文」）。
• 环境与可验证奖励（RLVR）：环境 = 任务描述 + Dockerfile + 验证器；要防 reward hacking 与测试覆盖不足。
• 训练：SFT（学正确轨迹）vs RL/GRPO（自己试）；GEPA 不更新权重、只优化提示。
• 长程问题：多步任务中一旦出错就致命，因此稳定性来自让 agent 自己失败并恢复。
• 对齐与安全：仅靠 system prompt 防越狱很差；对齐是持续的猫鼠游戏；对齐似乎处在低维子空间。

flowchart LR
  subgraph 训练闭环
  E[环境 Environment] --> A[Agent 多步 rollout]
  A --> V{可验证奖励}
  V --> RL[SFT / GRPO / GEPA]
  RL --> A
  end

附录 A：2026 春（sp26）与 2025 秋（fa25）课程对比

对照 https://eecs189.org/fa25/。 两学期都使用 Bishop & Bishop《Deep Learning: Foundations and Concepts》教材，但后半学期的主题取舍明显不同：

主要差异与「查漏补缺」要点：

1. 前沿应用主题换了：fa25 有 Diffusion Models（L25）与 Autoencoder（L19）；sp26 去掉这两块，改为 蛋白质工程（L25）与 智能体（L26/L27）。
2. 基础主题的增补：sp26 新增/前置了 Entropy & Information（L16）、UAT / 为什么需要深度 / 激活函数（L17）、MLE/MAP 与偏差-方差（L14）——这些在 fa25 中较分散或未单列。
3. 合并与拆分：sp26 把 Convergence + Momentum + Adam + SGD 合并为一讲（L13），把 CNN 拆成两讲（L19/L20）。
4. 对照补充建议：
5. 想补 Diffusion / 对比学习 的系统内容 → 看 fa25 L25（有 Slide PDF）与 Bishop 教材第 20 章；
6. 想补 Autoencoder → 看 fa25 L19 / 本课程第 24 讲（自监督学习）；
7. 智能体 → fa25 没有专讲，本册 + 第 27 讲是最系统的材料。
8. fa25 网站许多讲次页面仍是未填充的模板（{presenter's name}、?????），但 Content Repository（https://github.com/BerkeleyML/fa25-student）与 Class Drive 可能含更多材料。

附录 B：Hello-Agents 全书目录（延伸阅读）

Datawhale《Hello-Agents：从零开始构建智能体》（https://hello-agents.datawhale.cc）是目前中文世界最系统的智能体实践教程，建议顺序阅读：

总结（Takeaways）

• 智能体 = 能感知环境、自主行动、达成目标的实体；四要素：环境 / 感知 / 行动 / 自主性。
• 从传统智能体（反应式→模型式→目标式→效用式→学习式）到 LLM 智能体（隐式世界模型 + 涌现能力）。
• Workflow ≠ Agent：前者按部就班，后者目标导向、自主决策（bitter lesson）。
• 运行机制：PEAS 描述环境；Agent Loop = 感知-思考-行动-观察；用 Thought/Action/Observation 结构化交互。
• 经典范式：ReAct（思考+行动协同）、Plan-and-Solve（先谋后动）、Reflection（执行-反思-优化）。
• 记忆/RAG/上下文工程：四种记忆类型；上下文腐蚀说明上下文是有限资源；及时（JIT）上下文 + 文件系统是关键工程手段。
• 通信协议：MCP（工具）、A2A（智能体间）、ANP（网络发现）。
• Agentic RL：从单轮 PBRFT 到多步决策；SFT/LoRA → GRPO（无需 Value Model）。
• 评测：BFCL、GAIA、ToolBench；范式从「问答」转向「环境 + 可验证奖励」。
• 与第 27 讲衔接：环境、reward hacking、RLVR、GEPA、长程问题、对齐——同一主题的产业/研究视角。

附：参考

版权说明：本讲为线上客座讲座，课程主页未提供公开材料。本书依据课程「智能体」主线、Datawhale《Hello-Agents》教程及相关公开资料整理，仅供学习交流；相关方法版权归各自作者/机构所有。