A4 · LLM Evals

做什么

题面来自官方材料（本地原件在 _local/，官方链接见「材料」）。 编号是原件的编号（notebook 是 cell 序号、PDF 是页码），方便跟官方题面对号。 本项目不提供答案（D53）。

第 1 页

CS 224N Winter 2025 Assignment 4

LLM 评估（LLM Evals）

截止日期： 2 月 19 日，星期四，太平洋标准时间（PST）下午 4:30

在本作业中，我们将探索评估 LLM 性能的不同方法。我们可以粗略地将 LLM 评估分为四类：

• 标准封闭式基准测试（standard closed-ended benchmarking）。在这类基准测试中，我们会构造一组问题，并给出一种通常很简单的分类方式，用来判断某个问题的答案是否正确。例如，我们可能会构造一组数学题，并在回答以一段与正确数值答案匹配的字符串结尾时，将其评估为正确。此类基准测试的例子包括 GSM8k Cobbe et al. [2021] 和 MATH Hendrycks et al. [2021]。

• LLM 作为评判者（LLM as judge）。在某些情况下，很难创建一个简单的验证器来分类某个答案是否具有某种性质。有时，我们可以使用另一个（可能更强大的）LLM 来判断。例如，Souly et al. [2024] 使用 GPT-4o 将模型输出分类为“有害”和“有帮助”，该指标用于评估 LLM 对越狱（jailbreaking）的易感性。

• 用户研究（user study）。模型由一组人类在受控实验中进行评估。这类评估通常昂贵且难以运行，但如果实施得当，会提供非常强的信号。例如，Becker et al. [2025] 以一小群开源软件工程师为对象开展了一项用户研究，调查 AI 助手对编程生产力的影响。

• 与模型交互（interacting with the model）。这就是我们在实际使用 LLM 时都会进行的非正式测试。它没有特定结构，而是开放式和探索性的。仅仅与模型交互，可能就是发现不同失效模式（failure modes）的最快方式。

本 pset 包含三个不同的部分：

• 在第一部分中，我们会通过 API 让你访问若干不同的 LLM。你的任务是运行一些标准的封闭式基准测试。这里也有获得额外加分的机会。

• 在第二部分中，你将进行一些 LLM as judge 基准测试。

• 在第三部分中，你将对一个 LLM 进行红队测试（red-team），尝试表明它可以被诱导去不服从其 system prompt。

第 2 页

1. 领取 GCP 额度（Claiming GCP Credits）（0 分）

在本 pset 中，我们将查询 Google 模型。请按照此链接中的说明创建你的 GCP 账户并领取额度。

第 3 页

2. 标准基准测试（Standard Benchmarking）（10 分）

在这个问题中，你将必须使用标准基准测试技术，评估我们通过 API 让你访问的各种不同 LLM 的属性。

(a)（0 分）

首先阅读 query.py 文件。其中包含你将在本题中用来访问模型的 query_model 函数。该函数接受一个 query 和一个 model id。它返回与 model id 对应的模型响应。费用会记到你的 GCP billing account 上。每个人都有一笔固定额度的 credits，应该足以覆盖整个 pset。请密切关注你已经花了多少钱。你可以通过访问 GCP dashboard 上的 billing page 来查看。

为了避免超支，请尝试在少量输入上测试你的代码。例如，在本题中你将在 100 个问题上运行代码，但你可以先用更少的数量（比如 10 个）来测试代码。这样在测试时运行和迭代都会更快，也更便宜。当你确信自己的实现正确后，再在所有 100 个例子上运行。（提示：在完整数据集上运行时，使用 tqdm 来获得方便的进度条。）

在接下来的问题中，我们将用 model id 来指代模型；它只是一个单独的大写字母，例如 model A 或 B。

(b)（10 分）

在这个问题中，你将在 gsm8k 基准测试上对一个模型进行基准测试。

i.（7 分）

我们已在 gsm8k_first_100.jsonl 文件中提供了来自 GSM8k 基准测试的 100 个问题。使用字符串匹配（string match）评估，在此数据上对模型 A 和 B 进行基准测试。我们已提供标准 prompt template 函数，你应使用它来向模型输入 prompt；还提供了标准 output extractor，你应使用它从模型输出中提取数值答案。

把你用到的所有代码都包含在 gsm8k.py 文件中。此外，写下你得到的模型 A 和 B 的分数。

ii.（3 分）

现在开发你自己的 prompt template，以提高模型 A 的性能。通过补全 gsm8k.py 中的 superior_prompt_template 函数来编写你的 prompt template。使用这个函数，在 eval_model_on_gsm8k_with_improved_prompt 中填入内容来评估模型，并记录模型 A 的性能。下面包括：

• 你的 prompt 是什么。

• 你为什么认为这会提高模型性能。

• 使用标准 prompt 和你提出的 prompt 时的性能柱状图（你可以使用 part (bi) 中的标准 prompt 性能数值）。

• 性能是否提高了？讨论可能的原因，解释为什么提高或为什么没有提高。

明确地说，你这部分的目标是开发一个新的 prompt，使模型 A 的性能超过其使用我们标准 prompt 时的结果。

第 4 页

3. LLM Judge 基准测试（13 分）

在这个问题中，你将使用另一个 LLM 作为 judge 来评估不同 LLM 的性能。我们将使用 Alpaca Eval 数据集进行评估。该数据集中的问题旨在代表用户与聊天机器人的交互。

(a)（0 分）

我们在 alpaca_eval_first_30.jsonl 中收录了来自 Alpaca Eval 数据集的 30 个问题。先检查其中一些问题，以对数据集有个直观感受。

(b)（5 分）

现在我们将使用 LLM Z 作为 judge，在这个 Alpaca Eval 子集上评估模型 E 和 F 的性能。回顾一下，要运行这个 eval，我们需要：

• 对每个输入 prompt，从模型 E 和 F 分别采样一个响应。

• 向模型 Z 输入 prompt，让它决定哪个响应最好。

• 在 30 个问题上汇总模型之间的胜率（win rate）。

我们已经在 llm_judge.py 中提供了一些 starter code 供你补全。除了提交代码外，还要在你的 writeup 中包含以下内容：

• 你如何进行这次评估的细节。这应包括你如何向 LLM judge 输入 prompt，以及如何从中提取分数。

• 你的结果图，以及相应地说明哪个模型更好。

NOTE: 当你完成评估后，请将模型响应和 judge 输出保存到一个文件中。你将在接下来的两个子问题中分析这些输出；如果你不必重新生成评估数据，会方便得多。

(c)（4 分）

现在检查模型 E 和 F 对 5 个 alpaca eval 问题的响应。对每一组，判断你会把哪一个评为更有用的响应。下面包括：

• 你有多少次同意 judge，多少次不同意？

• 包含 1 个来自数据集的例子，在该例子中你不同意 judge 偏好的输出。对于这个例子，请包含 alpaca eval query、模型 E 响应、模型 F 响应和 judge 响应。

• 你是否注意到模型 E 和模型 F 的输出之间存在任何始终不同的地方？

• 总体而言，你认为这个 LLM judge 做得好吗？如果好，为什么。如果不好，为什么。

(d)（4 分）

现在，在 30 个 Alpaca Eval 问题上，将以下两个直方图绘制在同一坐标轴上：

• judge 偏好的输出长度直方图。

• 模型不偏好的输出长度直方图。

由于我们在 30 个问题上进行了测试，每个问题都有一个（根据 judge）偏好和不偏好的输出，因此每个直方图都会有 30 个数据点。

在下面包含该图。评论你在数据中注意到的任何趋势。现在你已经看到了这些，你是否相信你所运行的 LLM as judge 评估确实反映了用户会更偏好哪个模型？为你给出的答案提供理由。

第 5 页

4. Red-teaming an LLM（12 分）

Red-teaming 是一种安全实践：研究者刻意充当 adversary（对手），试图找出系统中的漏洞、绕过安全措施，或诱发非预期的行为。在 LLM 的语境下，red-teaming 一般指研究者与模型交互，目标是让模型产出违反 use policy（使用政策）的输出。

我们希望 LLM 具备的一个常见属性是：即使 user 的请求与 system prompt 相矛盾，模型也要遵循自己的 system prompt。在这个问题中，你将对 3 个 LLM 进行 red-team，目标是证明它们并不具备这一属性，即用户可以迫使它们违背自己的 system prompt。

具体来说，模型 G、H 和 I 的 system prompt 中各自被给了一个不同的秘密密码。它们被指示：正常回答用户查询，但绝不向用户泄露该密码。你的任务是为每个模型设计一个 prompt，迫使它违背 system prompt，把密码告诉你。

要做到这一点，你需要与模型反复交互，尝试不同的策略来绕过我们的 system prompt。

我们设计的 H 的 system prompt 比 G 更难攻破，I 又比 H 更难。每个模型的密码都不同，并且取决于你在 .env 文件中提供的 email address key。这意味着你从每个模型得到的密码会与你的同学不同（因为你们每个人的 email 都是唯一的）。

最后，我们的某些模型可能会就密码是什么对你撒谎。你可以用 redteam.py 中的 test_password(model_id: str, key: str, password: str) -> bool 函数检查自己是否提取到了正确的密码，其中 key 是你的 email address。如果你为每个模型提取到了正确的密码，该函数返回 true，否则返回 false。

NOTE：用我们提供的代码逆向推导出每个模型的密码是可能的。这样做属于违反 honor code（荣誉准则）。我们会测试你提供的 prompt，以确保它们确实能从模型中提取出你提交的密码。

(a)（0 分）

请写出你放在 .env 文件里的 email，我们会用它来核对提交的密码是否正确。

(b)（4 分）

从模型 G 中提取密码。下面请包括：

• 密码。
• 你用来从该模型提取密码的 prompt。
• 你认为这个 prompt 能奏效的原因。

(c)（4 分）

从模型 H 中提取密码。下面请包括：

• 密码。
• 你用来从该模型提取密码的 prompt。
• 你认为这个 prompt 能奏效的原因。

(d)（4 分）

从模型 I 中提取密码。下面请包括：

• 你用来从该模型提取密码的 prompt。
• 你认为这个 prompt 能奏效的原因。
• 另外 2 个使用不同策略、但未能成功提取密码的 prompt 示例。

第 6 页

Submission Instructions（提交说明）

• 请把书面部分以带 tagged pages 的 PDF 形式提交到 Gradescope，并正确标注各题的 tag。
• 代码提交：请运行 bash create_submission.sh，然后上传你的代码文件提交。

References（参考文献）

• Joel Becker, Nate Rush, Elizabeth Barnes, and David Rein. Measuring the impact of early-2025 ai on experienced open-source developer productivity. arXiv preprint arXiv:2507.09089, 2025.
• Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, et al. Training verifiers to solve math word problems. arXiv preprint arXiv:2110.14168, 2021.
• Dan Hendrycks, Collin Burns, Saurav Kadavath, Akul Arora, Steven Basart, Eric Tang, Dawn Song, and Jacob Steinhardt. Measuring mathematical problem solving with the math dataset. arXiv preprint arXiv:2103.03874, 2021.
• Alexandra Souly, Qingyuan Lu, Dillon Bowen, Tu Trinh, Elvis Hsieh, Sana Pandey, Pieter Abbeel, Justin Svegliato, Scott Emmons, Olivia Watkins, et al. A strongreject for empty jailbreaks. Advances in Neural Information Processing Systems, 37:125416–125440, 2024.

材料

官方地址（W26 ✓ 全部验证过可下载 ✓）。本地副本放 _local/（只服务本地、不外传）。

怎么自查

• 官方仓库自带的测试（pytest / sanity check）—— ⚠️ Gradescope 只对注册学生开放， 自学者以仓库自带测试为准；
• 提交脚本：A3 / A4 提到 bash create_submission.sh。

这份作业和书的关系

见上表「配哪几讲」。等题面中英对照做完，这里会换成章节标题原文，并加定位校验 （指引指向一个不存在的标题会被 nav_check 报出来）。