The Batch: 983 | 一种更简单的模型监控方法
原创 DeeplearningAI 2026-09-11 12:45 北京
Hi~新朋友,记得关注我们哟
在生成过程中发挥作用的 LLM 安全监控器通常会分析一系列安全分数,以捕捉不正确或有害的输出。研究人员发现,只分析单个安全分数就能达到几乎相同的性能。
● 最新消息:来自阿姆斯特丹大学、威斯康星大学麦迪逊分校和约翰斯·霍普金斯大学的 Mona Schirmer、Metod Jazbec 及其同事提出了一种名为 CRC Monitor 的简单监控系统——CRC 代表 conformal risk control(保形风险控制)。它通过将单个安全分数与针对具体任务精心校准的阈值进行比较,来评估输出的安全性。
● 关键见解:e-valuator 等系统会在每一步推理、每轮对话或每次工具调用后对 LLM 的输出打分,并分析分数历史来决定是否停止。更简单的方法是在最新一步的分数低于阈值时立即停止。难点在于如何可靠地选择这个阈值。基于有限验证集测得的误报率,可能仅仅由于偶然因素而低于新数据上的误报率。因此,需要更保守地选择阈值。
●工作原理:研究人员为两个需要在生成出错时停止模型的任务校准了 CRC Monitor 的阈值:错误数学推理和有害主题内容。对于每个数据集,他们使用一个单独的模型,即 verifier,对每一步输出文本进行评分。他们找到了同时满足两个标准的阈值:(i)尽可能多地捕捉不安全输出;(ii)将误报数量控制在用户定义的上限之下。
✴ 对于数学推理,研究人员构建了一个校准数据集。他们使用 Anthropic Claude Haiku 4.5 和 Mistral-7B-Instruct 生成了 MATH 数据集上的解答。一个 verifier(Alibaba Qwen2.5-Math-PRM-7B)通过估计推理是否仍沿着能产生正确解答的轨道前进来打分。他们使用 OpenAI o3-mini 验证每个解答,从而为校准创建标签。
✴ 对于有害主题内容,他们在 Anthropic Red Teaming 数据集上进行了评估,该数据集包含旨在诱发 LLM 产生有害回应的对话;还在 FineHarm上进行了评估,其中包含带有有害性标注的多轮对话。对于 verifier,他们在 Anthropic Red Teaming 上使用了 Llama Guard,在 FineHarm 上使用了一个经过微调、用于检测有害性的 Qwen2.5-1.5B 模型。
✴ 研究人员在验证集上尝试了许多阈值,并测量了每个阈值错误停止安全输出的频率(更高的阈值意味着更多输出会被标记为不安全)。由于真实数据上的实际误报率可能高于验证数据,他们在测得的误报率上加了一个小的补偿值,然后选择在修改后的误报率低于用户定义上限时仍尽可能大的阈值。
✴ 在推理阶段,当 verifier 分数低于阈值时,系统就会停止生成输出。
● 测试结果:CRC Monitor 更快地标记了不安全回应,同时保持了用户要求的误报率,并在大多数实验中与 e-valuator 的表现相当。
✴ 在 MATH 数据集上,当用户定义的误报率为 20% 时,该系统检测到了约 80% 的由 Mistral-7B-Instruct 生成的错误解答,与 e-valuator 的 80% 相同。它平均在推理过程进行约 35% 时就发出警报,而 e-valuator 为 40%。
✴ 与数学能力更强的 Claude Haiku 4.5 搭配时,CRC Monitor 检测到了约 75% 的错误解答,几乎与 e-valuator 的 76% 持平;它平均在推理过程进行约 40% 时发出警报,而 e-valuator 为 49%。
✴ 在 FineHarm 数据集上,当用户定义的误报率为 20% 时,CRC Monitor 检测到了接近 99.5% 的有害输出,并且平均在对话进行约 14% 时发出警报,这两项性能都与 e-valuator 持平。
✴ 在 Anthropic Red Teaming 上,CRC Monitor 检测到的有害对话更少(32%,而 e-valuator 为 54%),但它发出警报更早,平均在对话进行约 26% 时就报警,而不是 55%。
●重要原因:阻止 LLM 生成不想要的输出可以用更简单、成本更低的方式实现。一个有效的监控器只需要最新一轮生成的安全分数、一个经过校准的阈值,以及对错误的预设容忍度,就能在输出生成过程中捕捉到这类内容。这种方法比竞争方法更早地发现问题,从而减少用户接触错误或令人反感输出的机会(也降低了一部分推理成本)。研究人员建议,他们的方法适合用于分层监控架构:持续生成廉价信号,根据经过校准的规则停止,并且只有当廉价信号表明输出质量较差时,才切换到更昂贵的 verifier。
● 我们在想:既然一种简单的安全检测方法就能和复杂方法一样有效,那么改进其背后的 verifier,可能比设计更复杂的结果加权方式带来更大的性能提升。
点击下方阅读原文查看更多有趣内容哦~