铃阅
❌

普通视图

The Batch: 983 | 一种更简单的模型监控方法

2026年9月11日 12:45

原创 DeeplearningAI 2026-09-11 12:45 北京

Hi~新朋友,记得关注我们哟

在生成过程中发挥作用的 LLM 安全监控器通常会分析一系列安全分数,以捕捉不正确或有害的输出。研究人员发现,只分析单个安全分数就能达到几乎相同的性能。

● 最新消息:来自阿姆斯特丹大学、威斯康星大学麦迪逊分校和约翰斯·霍普金斯大学的 Mona Schirmer、Metod Jazbec 及其同事提出了一种名为 CRC Monitor 的简单监控系统——CRC 代表 conformal risk control(保形风险控制)。它通过将单个安全分数与针对具体任务精心校准的阈值进行比较,来评估输出的安全性。

● 关键见解:e-valuator 等系统会在每一步推理、每轮对话或每次工具调用后对 LLM 的输出打分,并分析分数历史来决定是否停止。更简单的方法是在最新一步的分数低于阈值时立即停止。难点在于如何可靠地选择这个阈值。基于有限验证集测得的误报率,可能仅仅由于偶然因素而低于新数据上的误报率。因此,需要更保守地选择阈值。

●工作原理:研究人员为两个需要在生成出错时停止模型的任务校准了 CRC Monitor 的阈值:错误数学推理和有害主题内容。对于每个数据集,他们使用一个单独的模型,即 verifier,对每一步输出文本进行评分。他们找到了同时满足两个标准的阈值:(i)尽可能多地捕捉不安全输出;(ii)将误报数量控制在用户定义的上限之下。

✴ 对于数学推理,研究人员构建了一个校准数据集。他们使用 Anthropic Claude Haiku 4.5 和 Mistral-7B-Instruct 生成了 MATH 数据集上的解答。一个 verifier(Alibaba Qwen2.5-Math-PRM-7B)通过估计推理是否仍沿着能产生正确解答的轨道前进来打分。他们使用 OpenAI o3-mini 验证每个解答,从而为校准创建标签。

✴ 对于有害主题内容,他们在 Anthropic Red Teaming 数据集上进行了评估,该数据集包含旨在诱发 LLM 产生有害回应的对话;还在 FineHarm上进行了评估,其中包含带有有害性标注的多轮对话。对于 verifier,他们在 Anthropic Red Teaming 上使用了 Llama Guard,在 FineHarm 上使用了一个经过微调、用于检测有害性的 Qwen2.5-1.5B 模型。

✴ 研究人员在验证集上尝试了许多阈值,并测量了每个阈值错误停止安全输出的频率(更高的阈值意味着更多输出会被标记为不安全)。由于真实数据上的实际误报率可能高于验证数据,他们在测得的误报率上加了一个小的补偿值,然后选择在修改后的误报率低于用户定义上限时仍尽可能大的阈值。

✴ 在推理阶段,当 verifier 分数低于阈值时,系统就会停止生成输出。

● 测试结果:CRC Monitor 更快地标记了不安全回应,同时保持了用户要求的误报率,并在大多数实验中与 e-valuator 的表现相当。

✴ 在 MATH 数据集上,当用户定义的误报率为 20% 时,该系统检测到了约 80% 的由 Mistral-7B-Instruct 生成的错误解答,与 e-valuator 的 80% 相同。它平均在推理过程进行约 35% 时就发出警报,而 e-valuator 为 40%。

✴ 与数学能力更强的 Claude Haiku 4.5 搭配时,CRC Monitor 检测到了约 75% 的错误解答,几乎与 e-valuator 的 76% 持平;它平均在推理过程进行约 40% 时发出警报,而 e-valuator 为 49%。

✴ 在 FineHarm 数据集上,当用户定义的误报率为 20% 时,CRC Monitor 检测到了接近 99.5% 的有害输出,并且平均在对话进行约 14% 时发出警报,这两项性能都与 e-valuator 持平。

✴ 在 Anthropic Red Teaming 上,CRC Monitor 检测到的有害对话更少(32%,而 e-valuator 为 54%),但它发出警报更早,平均在对话进行约 26% 时就报警,而不是 55%。

●重要原因:阻止 LLM 生成不想要的输出可以用更简单、成本更低的方式实现。一个有效的监控器只需要最新一轮生成的安全分数、一个经过校准的阈值,以及对错误的预设容忍度,就能在输出生成过程中捕捉到这类内容。这种方法比竞争方法更早地发现问题,从而减少用户接触错误或令人反感输出的机会(也降低了一部分推理成本)。研究人员建议,他们的方法适合用于分层监控架构:持续生成廉价信号,根据经过校准的规则停止,并且只有当廉价信号表明输出质量较差时,才切换到更昂贵的 verifier。

● 我们在想:既然一种简单的安全检测方法就能和复杂方法一样有效,那么改进其背后的 verifier,可能比设计更复杂的结果加权方式带来更大的性能提升。

点击下方阅读原文查看更多有趣内容哦~

阅读原文

跳转微信打开

The Batch: 982 | 法律、新闻和金融领域的定制模型

2026年9月10日 12:45

原创 DeeplearningAI 2026-09-10 12:45 北京

Hi~新朋友,记得关注我们哟

Thomson Reuters推出了一个专有的大语言模型系列,名为 Thomson。它基于 Qwen 模型构建,采用定制的数据工程和重新训练流程,旨在比通用 LLM 在法律和金融等领域提供更准确、更完整的回答。

● 最新消息:公司将 Thomson 构建为一个领域专用模型,专注于法律、商业、税务、金融、新闻及相关知识工作领域。Thomson 将首先部署在Thomson Reuters现有产品之一 CoCounsel Legal 中,这是一款用于研究、分析和起草文档的工具。之后,它还将扩展到其他Thomson Reuters产品上(未公布日期)。

✴ 输入/输出:文本输入(最多 262,000 token),文本输出

✴ 架构:专家混合(Mixture-of-Experts)Transformer,3970 亿参数,每个 token 激活 170 亿参数

✴ 性能:Thomson-1.0-Large 在税务、法律和新闻内容上的完整性与事实性方面都略微优于 GPT-5.4 和 Claude Sonnet 5;在开放网络内容的事实性上,两者都高出约 15 分;Thomson-1.0-Small 也同样优于 Gemma4-31B 和 Claude Haiku 4.5。

✴ 可用性:仅面向企业客户。

✴ 权重/许可:Thomson-1.0-Large 是专有模型,但一个 350 亿参数版本 Thomson-1.0-Small 将作为开源权重模型在 Hugging Face 上发布,供学术和非商业用途使用

✴ 未披露:价格

●工作原理:公司在 Qwen3.5-397B-A17B 之上构建了 Thomson-1.0-Large,后者是一个经过指令微调的开源权重模型。它采用了研究人员所称的“持续学习”(Continual Learning)方法,即结合全权重中期训练和微调,并在公司大型数据语料库的一个选集上进行训练。公司在新闻稿中披露,其三个月内的总训练成本为 4000 万美元。

✴ 研究人员重新对齐了 Qwen,使其更好地反映公司的风格与价值观,包括新闻客观性。他们通过直接偏好优化(DPO)将模型对齐到一套宪法。该宪法是开源的,可用于类似项目的适配或修订。

✴ 为了获得领域专业能力,Thomson Reuters及其合作伙伴 DatologyAI 从 19 万亿 token 的候选池中整理出一个 2000 亿 token 的中期训练数据集。训练数据大致由三部分组成:精选的专有文档(新闻、监管文件、判例法、合同)、成功专业任务的合成数据对,以及选取的通用能力材料。

✴ 研究人员使用 DPO 对模型进行了最终一轮对齐训练,并提升了智能体式深度研究中的准确性和效率。他们还使用组序列策略优化(GSPO)来管理上下文压缩和文档缓存,以避免上下文窗口过载或触发冗余 API 调用。

✴ Thomson-Small-1 采用类似方式训练,基座模型为 Qwen3.6-35B。

✴ 公司强调其以数据为中心的流程,以及对齐、中期训练和后训练方法的组合。公司表示,未来版本的 Thomson 可能会使用替代基座模型——或许是 Inkling Large ——同时会使用比目前 Thomson Reuters 语料库 10% 更大的数据集进行训练。

● 新闻背后:Thomson Reuters 长期以来一直在其面向法律和金融专业人士以及政府机构的产品中使用 AI,但其最新的 AI 产品是首个 LLM。公司正承受来自 Harvey 和 Legora 等新兴 AI 原生公司,以及来自 OpenAI、Anthropic、Google 等提供多种产品替代方案的通用 LLM 和智能体的双重压力。

✴ Thomson 的聚焦程度不如 Harvey 的新法律模型 Tenet 那么狭窄,但其数据语料库更大,涵盖新闻、商业、税务和金融。公司还表示,Thomson 在特定基准上的表现聚焦度也较低,其中包括 Harvey 颇受欢迎的 BigLawBench 和 LAB(Legal Agent Benchmark)。

✴ CoCounsel Legal 是一款 AI 助手,利用专有信息以及用户自己的文档来执行法律任务,例如研究问题、比较文档以及创建事件时间线。Thomson 现在将成为 CoCounsel 内部某些功能的底层模型,而其他功能则仍将依赖包括 Anthropic Claude 在内的专有模型。CoCounsel 各个版本的价格未公开,但公司声称该产品拥有超过一百万客户。

●重要原因:Thomson 论文作者认为,他们面向领域特定 LLM 的方法代表了一种特殊形式的主权 AI,但这是企业层面而非国家层面。Thomson Reuters 不会把数据交给更大的 AI 公司并受其基础设施与数据保留政策约束,而是将模型授权给在自有硬件上运行这些模型的公司,从而确保敏感数据永远不会离开本地。此外,其模型还可借助 Thomson 的中期训练方法,在企业私有数据上进一步训练,而无需承担预训练的高成本,也不必依赖像 LoRA 这样成本较低但效果相对有限的微调方法。

● 我们在想:模型定制对于广泛的 AI 应用来说仍然是一个令人兴奋的前景,而开源权重模型的日益普及为团队试验这些模型奠定了重要基础。不过,像Thomson Reuters 这样的公司仍需向客户证明,鉴于性能提升相对有限,它们的产品值得这个价格。

点击下方阅读原文查看更多有趣内容哦~

阅读原文

跳转微信打开

The Batch: 981 | Ox Alpha 被揭晓为 GLM-5.3-Flash

2026年9月9日 12:45

原创 DeeplearningAI 2026-09-09 12:45 北京

Hi~新朋友,记得关注我们哟

在一周多的时间里,OpenRouter 上使用最广泛的模型,其名称和制造者一直成谜。上周,它被公开宣布为一款新的 GLM 系列模型——令许多人惊讶的是,该公司表示,这款模型的免费、高流量预览版完全由中国制造的芯片提供支持。现在,任何人都可以下载它的权重。

● 最新消息:Z.ai 发布了 GLM-5.3-Flash,这是一款视觉语言模型,先前以“Ox Alpha”之名进行预览。这是该公司自 4 月的 GLM-5V-Turbo 以来推出的首个视觉模型,也是 GLM-5 家族中第一款从一开始就构建视觉能力、而不是后来再附加到语言模型上的模型。

✴ 输入/输出:文本、图像和视频输入(最多 1,048,576 个 token),文本输出(最多 128,000 个 token,44.6 token/秒)

✴ 架构:混合专家(MoE)Transformer,结合线性注意力和稀疏注意力,总参数量 3200 亿,每个 token 激活 180 亿参数

✴ 特性:可调推理级别(低、高和 max,默认),推理无法关闭;流式输出、工具调用、上下文缓存

✴ 性能:在 Artificial Analysis 的 Intelligence Index 上获得 57 分;在 Artificial Analysis 的 GDPval-AA v2(真实世界知识工作任务)中位列所有模型第三,并且是开放权重模型中表现最佳者

✴ 可用性/价格:可通过 GLM Coding Plan 订阅获取,月费从 18 美元到 168 美元不等;API 价格为每百万输入/缓存/输出 token 分别 0.15/0.03/0.50 美元

✴ 权重/许可证:可在商业友好的 MIT 许可下免费下载安装

✴ 未披露:知识截止时间,预训练数据来源

●工作原理:Z.ai 从一开始就用文本、图像和视频训练 GLM-5.3-Flash,而不是后来再把视觉和文本 Transformer 拼接起来。与更大的 GLM-5.3 不同,Z.ai 是从零开始预训练该模型,并重新设计了注意力层,使其能够更高效地处理长输入。

✴ 这是 GLM 系列中的首创,该模型混合了两种注意力机制。线性注意力是一种更节省内存的变体,其成本随输入长度线性增长,主要关注邻近上下文;稀疏注意力则关注完整上下文。公司表示,这种组合将注意力计算量降低到 GLM-5.3 的大约三分之一,也低于 DeepSeek-V4-Flash 和 Kimi K3。

✴ 一个名为 IndexPool 的步骤会把每四个检索向量平均合并成一个向量,以便当上下文接近 100 万 token 时减少内存占用。再加上这种混合注意力机制,使 GLM-5.3-Flash 的键值缓存降到 GLM-5.3 的四分之一以下,但仍高于 DeepSeek 或 Kimi 的最佳数值。

✴ 公司在一个 30 万亿 token 的多模态语料上预训练了该模型。它使用了 Manifold-Constrained Hyper-Connections,这是一种由 DeepSeek 开发的技术,将典型的层间连接拆分为多条并行连接,并在这些路径合并时保持稳定。公司表示,这帮助模型实现了高效扩展。

✴ 为了生成训练数据,Z.ai 让模型在能够渲染前端、游戏或 3D 场景、查看结果并进行修改的环境中运行。随后公司用这些尝试对模型进行训练。对于前端工作,Z.ai 表示其尝试了强化学习,根据渲染页面的最终效果来给模型打分。

✴ 在推理时,模型会让每个 token 通过 288 个专家中的 8 个,并使用大约一半的网络层(45 层),而 GLM-4.5 为 92 层。一个多 token 预测层会提前起草若干 token 供主模型检查,从而加快生成速度。

● 性能表现:独立评测显示,GLM-5.3-Flash 略低于顶级开放权重模型,但每项任务的成本大约只有其上方开放权重模型的八分之一。领先的专有模型每项任务的成本则高出 10 到 35 倍。GLM-5.3-Flash 在一项真实世界工作评测中领先所有其他测试过的开放权重模型,并且在长时间运行的编码任务上几乎与更大的 GLM-5.3 一样好,而后者每项任务的成本是前者的 16 倍。

✴ GLM-5.3-Flash 在 Artificial Analysis 的 Intelligence Index 上获得 57 分;该指数综合了九项对经济上有用任务的评测,平均每项任务仅花费 0.09 美元。以更低的价格,它接近了开放权重领域的领跑者 Kimi K3 和 GLM-5.3(两者都设置为 max 推理,均为 60 分,分别为每项任务 0.84 美元和 0.68 美元)。它与 Claude Opus 4.8(设置为 max 推理,每项任务 2.03 美元)持平,并优于 Gemini 3.7 Flash(56 分,每项任务 0.40 美元)。

✴ GLM-5.3-Flash在 Artificial Analysis 的 GDPval-AA v2 中排名第三(1,765 Elo)。该榜单对模型在经济相关领域任务中的对决结果进行排名,落后于 Claude Opus 5(设置为 max 推理,1,824 Elo)或 xhigh 推理(1,797),领先于 Grok GLM-5.3(设置为 max 推理,1,758)和 Grok 4.6(设置为 xhigh 推理,1,755)。

✴ 在 DeepSWE v.1.1 上,GLM-5.3-Flash 能够一次性解决 63% 的问题。DeepSWE v.1.1 是一项软件工程技能测试,其编码任务需完全从头编写,而不是来自公开代码库。在这一基准上,它每项任务成本为 0.24 美元;相比之下,GLM-5.3 为 69%,每项任务 3.99 美元,而 Claude Opus 5 设置为 max 推理时为 74%,每项任务 11.84 美元。规模相近的 DeepSeek V4 Flash 以两倍的成本解决了 53%。

✴ 该模型文字输出冗长且速度较慢,尤其考虑到它的体量。该模型完成 Artificial Analysis 的 Intelligence Index 使用了 1.5 亿个 token,超过中位数(1.1 亿)。在多个硬件提供商上,它平均每秒生成 45 个 token,明显慢于 GLM-5.3(每秒 78 个 token)以及 Artificial Analysis 测试的典型模型(每秒 69 个 token)。

● 新闻背后:在发布前的一周里,Z.ai 以匿名方式推出了 GLM-5.3-Flash 的预览版,且在发布前的一周里,它仅在编码框架 OpenCode 和模型市场 OpenRouter 上免费独家提供。通过这种方式,公司得以收集开发者的反馈,而这些开发者并不知道自己测试的是哪一个模型。公司表示,Ox Alpha 在那一周成为这些服务上最受欢迎的模型。用户根据其 tokenizer 输出,在几天内便猜测这款神秘模型属于 GLM 家族。8 月 26 日,Z.ai 确认了该模型,并在标准 MIT 许可下公开了其权重。两天后,公司又发布了旗舰模型 GLM-5.3 的权重,采用类似 MIT 的许可,但增加了一项条款:任何年收入超过 100 亿美元的企业,在将这些权重用于商业用途前,都必须先接受 Z.ai 的安全审查。

●重要原因:虽然 GLM-5.3 仍然在文本基准上领先于 GLM-5.3 Flash(以及几乎所有开放模型),但就目前而言,Z.ai 的低价模型也是更先进、更多用途的那个。GLM-5.3 只是一个能力很强的微调版,而 Flash 则拥有新的基础模型、架构和视觉能力。公司表示,其下一代旗舰模型将继承这种多模态、混合注意力架构,同时使用更多数据训练并展现更强能力。几个月前,GLM-5V-Turbo 在视觉语言任务上超过了 Claude Opus 4.6;下一代 GLM 系列模型或许也会同样挑战顶级专有多模态模型。

● 我们在想:Ox Alpha 的匿名预览制造了话题和神秘感,但也让用户能够依据其优缺点来评判它。或许揭示出的最大谜团,是它依赖中国本土厂商生产的芯片。这表明,只要采用合适的内存优化方法,企业就能在经济价位的硬件上,以规模化方式提供一款具有成本效益、性能出色的模型——尽管它比我们对前沿模型习以为常的标准要小一些、慢一些。

点击下方阅读原文查看更多有趣内容哦~

阅读原文

跳转微信打开

The Batch: 980 | OpenAI 和 Anthropic 的数据保留政策

2026年9月8日 12:45

原创 DeeplearningAI 2026-09-08 12:45 北京

Hi~新朋友,记得关注我们哟

任何向 AI 模型或服务发送私人数据的人,都理应得到三个问题的明确答案:(i) 这些数据存放在哪里?(ii) 他们会保留多久?以及 (iii) 他们会如何处理这些数据(例如是否用于训练、是否给人类查看等)?本周,两家领先公司的企业客户收到了两种回应:一种是泄露后得到确认,另一种则是预览版。两者的技术细节都很少。

● Anthropic 的新动向:自 6 月以来,使用 Claude Fable 5 的企业一直被要求允许 Anthropic 保留他们的对话 30 天。现在,Anthropic 将放宽这一规则,推出一个名为 Enterprise Frontier Safeguards(EFS)的新计划,要求采用零数据保留(ZDR)政策的公司改为将数据保存在自己的服务器上,或特定云服务提供商的服务器上。在 EFS 于今年秋季某个时候可用之前,符合条件的企业客户将能够使用 Fable 5 和 Fable 5.1,而 Anthropic 不会保留任何数据。

●与此同时,OpenAI:在彭博社披露 Anthropic 的消息前一天,OpenAI 发布了一篇文章,承诺对于企业客户,其最强大的模型都支持 ZDR。这意味着 OpenAI 从不记录企业的提示词和回复。该服务面向已获批准、将模型接入自家软件的企业提供。文章还预览了 Private Safety Processing(PSP),这是一种旨在在不让 OpenAI 读取提示词的情况下,识别分布在大量请求中的滥用行为的系统。

●工作原理:两家公司都描述了同一种方法:软件会持续监测请求并标记模式。无需人工审查。以下是两家公司都没有解释清楚的地方:“我们的员工看不到它”并不等于“我们的系统看不到它”。要扫描数据,公司编写的软件必须在数据所在之处将其解锁并读取。Anthropic 技术团队成员 Sholto Douglas 在 X 上将这一计划描述为“通过我们提供给你的自动化系统来完成监测”。以下是两家公司的现状。

✴ 立即生效:据其帮助中心称,Anthropic 会在所有平台上保留 Fable 5 和 Mythos 5 的对话 30 天。此外,根据公司自行决定的流程被标记的内容,可依据其一般政策最长保留两年,而且 Anthropic 批准的审查人员可通过记录完整的流程读取这些内容。OpenAI 表示,除联邦法律要求外,其员工无法查看 ZDR 客户的对话。

✴ 已承诺的内容:Anthropic 将要求数据保留相同的 30 天,但存放在客户的服务器上——可以是客户自己的服务器,也可以是 Google Cloud、Microsoft Foundry 或 Amazon Web Services 等第三方提供商的服务器。30 天的要求仍将保留,但数据将存放在客户指定的服务器上,而不是 Anthropic 的服务器上,客户还可以选择管理自己的加密密钥、审计日志和其他安全数据。OpenAI 的 Private Safety Processing 将扫描存放在客户服务器上的数据,或使用 OpenAI 所说其员工无法获得密钥、但存放在 OpenAI 服务器上的加密数据,并且只会返回活动类型的标签,而不是内容本身。

✴ 为何需要这些功能:EFS 和 PSP 旨在应对的主要威胁是网络攻击。有些攻击只会在大量请求中显现出来。Anthropic 的帮助中心提到政府间谍活动,以及 “best-of-N” 越狱攻击,即攻击者将被拦截的请求反复改写数百次,直到某个版本通过为止。

✴ 未披露内容:目前仍不清楚两家公司如何读取它们声称自己看不到的数据。OpenAI 已承诺将在 9 月发布一篇关于 PSP 的技术论文;Anthropic 曾为其 6 月的数据保留政策发布过一篇论文,但关于 EFS 将如何运作的技术细节很少。两家公司都没有披露它们用来判断某事是否属于“网络攻击”或“不安全”的具体标准。

● 新闻背后:Anthropic 6 月的规则迫使其部分已有 ZDR 合同的企业客户例外处理。这些客户若想使用新模型,必须先开启保留功能。因此,许多企业放弃使用 Fable 5。正如我们在 6 月报道的那样,ARC Prize Foundation 也放弃了对 Fable 5 进行其验证测试,而不是暴露其私有测试问题。Anthropic 此后已承认这一成本;在 8 月的一份风险报告中,该公司写道,这项规则“会让那些已经习惯零保留的客户感到不满”,如果竞争对手不这么做,还可能损害其业务。OpenAI 则没有这样做;其文章重申了零保留。

●重要原因:企业现在仅凭新闻稿就在决定是否将敏感数据交给这些模型。对于律师事务所、医院和银行等受监管行业来说,“我们不会用你的数据训练模型”和“我们没有你的数据”是两种不同的承诺。企业也不清楚 Anthropic 何时会改变其对“非安全”行为的定义,以及其员工何时可能会读取提示词——这些提示词往往包含极其敏感的数据。任何能在服务器上找到的数据,都可能被攻击者破坏,或被法院要求提供。去年,在《纽约时报》的版权诉讼中,法院命令 OpenAI 保留其通常会删除的聊天记录,甚至包括用户已经删除的记录。OpenAI 表示,ZDR 客户不受影响,因为公司从未持有过他们的数据。若在针对 AI 公司的诉讼中,存放在客户服务器上的日志是否也会被调取,这是两家公司都未回应的问题。两家公司都没有发布其设计的独立审计。

● 我们在想:在 2024 年,我们描述了云端 AI 隐私的四个层级,其中最强的一层——服务提供商根本无法访问你的数据——对于敏感工作最为关键。考虑到前沿实验室在界定何为“安全”时拥有自行采用任何标准的裁量权,这一点尤其重要。我们将此与许多超大规模云服务商简单明了的隐私政策进行对比:规则要清晰得多。我们预计,除非有传票、法院命令或其他更可预期的法律程序要求,否则他们不会查看我们的数据。两家公司现在都表示,它们可以在保护用户隐私的同时,仍然跨越多次请求发现滥用行为。但它们都没有展示实现方式。在它们都公布设计之前,这只是路线图,而不是保证。

点击下方阅读原文查看更多有趣内容哦~

阅读原文

跳转微信打开

吴恩达来信:AI 工程技能地图详解——使用编程智能体

2026年9月7日 12:45

原创 DeeplearningAI 2026-09-07 12:45 北京

使用编程智能体从规划到执行再到监控

Hi~新朋友,记得关注我们哟

亲爱的朋友们,

一项关键的 AI 工程技能是使用编程智能体。你可以引导它们既编写代码,又执行非代码任务,(例如分析数据或管理系统操作的能力),这能让你完成更多事情。

编程智能体的快速演进意味着这项技能本身也在迅速演进——比其他顶层 AI 工程技能还要快。专有智能体(如 Claude Code、Codex 和 Cursor)以及开源智能体(如 OpenCode 和 Pi)都在通过底层运行环境(harness)和模型改进实现跨越式进步。因此,跟上如何使用编程智能体,需要持续不断地实验、构建和学习。

在采访了数十位顶尖 AI 工程师并反思我们团队自身使用编程智能体的经验后,我们发现:借助它们构建软件时,存在一套一致的高层工作流。关键步骤如下:

🔷 规划。这包括:(i)头脑风暴,可能涉及研究、实验,以及理解现有代码库(如果有的话);以及(ii)撰写一份规格说明,涵盖需求、技术设计和架构,随后生成执行计划。你也可以审阅该计划,以质询关键假设,并检查安全性、过度工程以及其他缺口。

🔷 执行,在这里你需要进行构建、测试和验证,并在智能体自主性与人工监督之间取得适当平衡。这包括:(i)让智能体构建软件,并对智能体自主性设置经过校准的程度;以及(ii)通过自动和/或人工检查验证其输出。

🔷 部署和监控,在这里你将:(i)部署,或许会通过 CI/CD 流水线或额外的人工关卡进行把关;以及(ii)使用智能体查看日志、暴露问题,并提出和执行改进。

这套高层工作流与在编程智能体出现之前通常用于构建软件的工作流类似。现在,我们更少关注代码本身,而是更多关注决定要构建什么、设计架构、撰写规格说明,以及验证输出。

每一步的持续时间会因项目而有显著差异,并且某些步骤可以省略。例如,一个绿地项目(即从零开始构建)的原型,其规格说明可能只需在一条快速写下的提示词中进行宽泛描述;而一个棕地项目(已有既存系统)、且拥有大量用户的项目,其规格说明则可能需要投入更多精力来撰写和验证。此外,这个工作流高度迭代,熟练的开发者知道什么时候后一步的反馈应该把他们带回前一步。例如,如果验证失败,他们知道如何引导智能体重建并修复错误;或者如果监控暴露出问题,他们知道如何让智能体更新系统并重新部署。

要在这一工作流中有效使用编程智能体,关键技能是:

✴ 引导工作流

✴启用智能体自主性

✴审阅工作成果

✴定制智能体及其环境

✴编程智能体基础

引导工作流。你需要知道如何在上述工作流的每一步中前进。这涉及决定在人和智能体之间分别投入多少精力,以及何时返回到前一步进行迭代。它要求你深入理解速度、成本、技术风险和人工投入之间的权衡,以便决定前期要做多少调研和规划、何时保留关键工作的人工主导权、如何选择架构、在一组规划产物(如规格说明)中写入多少细节,以及如何把工作拆解为可验证的步骤。

启用智能体自主性。当把编程智能体应用到工作流的各个步骤时,你需要选择自主性级别:是看着它来回交互,还是把更大块的工作委派给它?以及你何时设置一个明确目标,并让它循环执行直到成功?此外,你必须谨慎管理智能体的上下文。随着构建过程进入不同阶段,你需要校准何时确保关键收获、用户反馈和假设——包括在构建中途发生变化的假设——被记录下来,供智能体在后续步骤中使用。此外,你还要决定何时设置多个智能体并行运行,以处理任务拆解后的各个部分——这可以由人类或更高层级的智能体来协调这些其他智能体——以及如何管理人类注意力在并发智能体会话之间的分配。你也知道如何安全地运行智能体,设置权限并适当地对动作进行把关,以便在限制泄漏、数据丢失或其他损害风险的同时,快速推进开发。

审阅工作成果。编程智能体的输出是不确定的。我们无法预先知道它会提出什么好主意,也无法预先知道它会实现什么 bug。审阅和验证输出是确保你获得所需结果、并在不符合预期时将智能体重新引导回正确方向的关键步骤。你需要设计与任务相匹配的测试与验证,按需要同时应用行为验证和功能验证。你也可以测试用户流程,也许让智能体提供截图作为成功或失败的证据。对于定性/行为评估,可以使用评测集,也许还会结合 LLM-as-a-judge。

你还需要决定这些测试中有多少应当自动化。某些工作流会把所有测试和验证都完全自动化,这样智能体就能自行检查工作,并知道自己何时已成功完成任务。你必须评估这些测试,以确保它们与你的目标一致;如果不一致,你还需要对其进行演进。此外,你还会使用智能体式代码审查,并运行 AI 赋能的安全与架构审计。当 AI 审查不够充分时,你会审慎地插入对代码行为的人工审查(而且很少情况下也会对代码本身进行人工审查),同时探索如何进一步自动化这一审查。最后,你会验证部署,并能够借助智能体将监控和事件管理运维化。

定制智能体及其环境。你需要更新智能体本身以及其运行环境的能力,使你的智能体能够高效获取所需上下文、访问工具,并正确且高效地构建。你需要知道如何集成智能体技能、插件和 MCP 服务器。有时,当它们不再必要时,你会将其裁剪掉(例如,当新模型使旧技能不再需要时)。你可以使用 hooks 自动化开发流程中可重复的部分,例如触发自动化代码审查或 CI/CD 流水线。你也可以维护智能体所工作的环境:用关于代码库、关键架构假设、代码风格和数据访问模式的信息更新驻留上下文(如 AGENTS.md 或 CLAUDE.md)。你知道如何在多个会话之间以及并行智能体之间保留状态,并随着时间推移积累智能体的学习成果,也许会通过运行事后复盘来捕捉哪些有效、哪些无效。你还要知道如何建立一致的约定和结构,让你的代码库对智能体而言更易于浏览,以及如何偶尔清理智能体生成的技术债。当你在团队中工作时,你需要考虑如何在不同开发者的智能体之间协调上下文。

编程智能体基础。最后,为了在整个过程中做出良好决策,你需要对编程智能体的工作方式有深入理解:它们如何执行代码库搜索/检索、如何管理上下文窗口、不同操作(如添加工具调用、MCP 服务器等)如何影响上下文、智能体与子智能体如何交互,以及智能体如何通过在 LLM 外围包装一个运行环境(harness)来构建。这会让智能体不那么像一个黑箱,并帮助你识别失败模式,例如把一个简单方案过度工程化、因为智能体缺少明确的验证流程而失去严谨性、没有达到目标就停下,或者智能体动作有可能破坏文件或生产数据。这也有助于你推理智能体的状态,并通过给它正确的指令或上下文来引导它。而在监控一次运行时,这种理解还能让你更容易发现智能体何时偏离轨道并需要你的介入。

我发现社交媒体往往会对如何使用编程智能体给出过于简化的描述。例如,有时让智能体自主运行数小时、消耗数百万甚至数千万 token 是有用的。但目前,超长时程任务的实际效用——尤其是相对于其成本而言——被夸大了,超过了现实。相反,最有效的编程智能体使用方式是一种复杂、高度迭代的过程,而能够以高水平判断进行干预,往往能带来好得多的结果。

你使用编程智能体的能力会让你成为一名高效的构建者。这也使你能够进一步引导整体构建过程。关于这一点,我会在下周的信中继续展开。

请不断构建!

吴恩达

点击下方阅读原文查看更多有趣内容哦~

阅读原文

跳转微信打开

The Batch: 979 | LLM 清理智能体的“垃圾”

2026年9月4日 12:45

原创 DeeplearningAI 2026-09-04 12:45 北京

Hi~新朋友,记得关注我们哟

AI 智能体通常会通过总结或删除最早的内容来压缩其上下文窗口中的信息。研究人员提出了一种更有选择性地管理智能体记忆的方法。

●最新消息:社交购物网站小红书(也称 RedNote)的Xubin Hao及其同事构建了自主管理上下文(Self-GC)。与常见的智能体设计类似,Self-GC 会建立一个包含输入和输出的上下文,其中既有用户请求和工具调用,也有 URL、文件路径等结果。不同于典型的压缩算法,Self-GC在把上下文发送给关联的 LLM 之前,会由一个大语言模型来决定哪些部分保留、删减或丢弃。

●关键见解:仅靠基于输入输出类型或保留期限的规则,并不足以让智能体决定应保留哪些上下文信息。较早的工具输出可能保存着唯一一个之后还要重新打开的 URL,而较新的输出可能已经过时。LLM 能以更灵活的方式做出这类判断,因为它可以随着上下文累积读取已有信息,并判断哪些细节未来更可能有用。

●工作原理:当输入 token 占满主 LLM 上下文窗口的 30% 以上时,Self-GC 会把历史记录发送给规划模型(默认是 Qwen3.6-Plus),并要求它针对每条用户请求或工具调用及其结果,决定如何处理。

✴ 规划器可以保留这些条目,也可以从三种操作中选择一个。(i) “Fold” 会把某个条目收起来。其内容会移动到单独的存储中,同时附上一条简短说明,描述其位置,以便智能体在必要时能够逐字取回。(ii) “Mask” 会就地缩短条目,保留开头和结尾文本,同时删去中间的重复内容,这种方式适合较长的日志。(iii) “Prune” 会删除任务已不再需要的条目,例如失败命令的日志。

✴ Self-GC 会先在历史记录的副本上执行计划中的操作,并丢弃任何可能干扰最近请求或智能体对该请求持续响应的操作。然后,它会计算剩余操作可以节省多少输入 token。

✴ Self-GC 只有在估计到这能降低未来调用模型的总成本时,才会缩短历史记录,包括使用缓存输入所带来的节省。实际上,他们发现,如果能把历史记录至少缩短 30%,这个方案就值得应用,因此在测试中使用了这一经验规则。

●性能表现:开发人员在一个会浏览网页、运行 shell 命令并为小红书用户编辑文档的智能体上测试了 Self-GC。他们把它与遵循固定规则的方法进行了比较,例如删除最早的消息或删除工具输出。Self-GC 删除的历史更少,但更不容易丢失有用信息。为衡量这一点,开发人员回放了真实用户与其智能体之间已经完成的对话。对于每段对话,他们会在进行到一半时暂停,在截至当时的历史记录上运行 Self-GC,并使用 GPT-5.5 判断缩短后的历史是否仍保留了真实对话后续会用到的每一个细节。

✴ 在一组被认为尤其困难的 33 段对话中,Self-GC 删除了 43.95% 的输入 token,并在 84.85% 的情况下保留了必要细节。基于规则的方法删除了 61.90% 到 69.87% 的 token,而保留必要细节的比例为 54.55% 到 69.70%。

✴ 在更大的 332 段对话集合上,Self-GC 删除了 31% 到 34% 的输入 token,同时在三种不同的规划模型(Qwen3.6-Plus、Qwen3.7-Max 和 GLM-5.1)上都能以 91.27% 到 94.58% 的概率保留必要细节,表明 Self-GC 可以与多种 LLM 配合有效工作。基于规则的方法删除了 40.19% 到 47.76% 的 token,而保留必要细节的比例为 77.71% 到 87.46%。

✴ 在一些真实用户账号上进行在线运行时,与未使用 Self-GC 的账号相比,Self-GC 删除了 10% 到 15% 的输入 token。

● 是的, 然而:开发人员的评估测试了 Self-GC 保留重要细节的能力,但没有测试它生成良好输出的能力。一个使用压缩上下文的系统,其输出可能与完整上下文系统包含相同的细节和结果,但未必同样有用。

●重要原因:为了节省成本而压缩上下文会带来风险,即模型可能忘记之后需要的某个细节。知道该保留、删减和移除什么,能让长时间运行的智能体既保持可负担,又不会变得健忘。

● 我们在想:John McCarthy在 1959 年左右创造了“人工智能”一词,并为计算机发明了“垃圾回收(garbage collection)”,以便程序员不必手动管理计算机内存。妥善管理智能体记忆是另一种将 LLM 视为操作系统的方式——也再次说明,软件工程基础对于构建优秀的 AI 应用至关重要!

点击下方阅读原文查看更多有趣内容哦~

阅读原文

跳转微信打开

The Batch: 978 | DeepSeek-V4-Pro 更新了

2026年9月3日 12:45

原创 DeeplearningAI 2026-09-03 12:45 北京

Hi~新朋友,记得关注我们哟

DeepSeek 的旗舰模型在结束预览后正式发布,性能有所提升,同时也带上了该模型所用的基准测试框架。这个 harness 是免费且开源的,不过公司的模型价格上涨了。

●最新消息:DeepSeek 发布了 DeepSeek-V4-Pro-0813,这是其第四代两款模型中较大那款的正式版本。

✴ 输入/输出:文本输入(最多 100 万 tokens),文本输出(最多 384,000 tokens,78.1 tokens/秒)

✴ 架构:混合专家 transformer,总参数量 1.6 万亿,每个 token 激活 490 亿;可选的推测解码模块将检查点参数量提升到 1.7 万亿

✴ 特性:可调推理(无、低、高、最高),默认高推理;工具调用;上下文缓存

✴ 性能:在 Artificial Analysis 的 Intelligence Index 上得分 53,在开源权重模型中排名第三;在 Arena 的 WebDev 排行榜上位列 115 个模型中的第 10

✴ 可用性/价格:通过 DeepSeek 的应用和网站,以 Expert Mode 使用;通过 DeepSeek API,在高峰时段(UTC 01:00–04:00 和 06:00–10:00)每百万输入/缓存/输出 tokens 价格为 $1.32/ $0.044/ $3.96,非高峰时段价格减半

✴ 权重/许可:在 MIT 许可证下可免费用于商业和非商业用途

✴ 未披露:新的训练数据和方法、知识截止时间

该公司还发布了一个开源的 agent harness 开发者预览版,并提高了所有模型的 API 价格。

●工作原理:DeepSeek-V4-Pro-0813 保留了 4 月预览版的参数规模和架构,包括 DSpark——DeepSeek 之前为预览版发布的推测解码模块。DeepSeek 表示,此次更新增强了模型的 agentic 能力,但没有具体说明改动了什么。

✴ DeepSeek 先用超过 32 万亿 tokens 对预览版进行预训练,然后通过监督学习和强化学习,在各个独立领域上分别对 10 个模型副本进行微调。最后,它通过 on-policy distillation 将这些模型合并为一个模型:新的副本,也就是 student model,去模仿这 10 个专家模型的输出。

✴ DeepSeek 的混合注意力机制在两类注意力层之间交替。两者都会在读取输入时压缩模型存储的 key 和 value,但其中一种还只关注被选中的 token 子集。对于 100 万 tokens 的输入,该模型只使用 DeepSeek-V3.2 所需计算量的 27%,以及其存储 key 和 value 所需内存的 10%。

✴ 该模型会连同答案一起返回推理过程。当请求包含工具使用时,后续 API 请求必须包含之前的推理轨迹,否则 API 会拒绝。这使得推理可以在多次调用之间持续保留。

✴ DeepSeek Harness 将模型、工具、技能、会话、沙箱、存储、循环、调度和用户界面都视为可配置、可替换的插件。它会记录模型摄取的一切内容,例如系统提示、推理、工具调用及其结果、子智能体调度和上下文注入,因此任何会话都可以恢复、分叉、搜索或回放。其最小模式只给模型一个 shell 和文件编辑器,这也是 DeepSeek 用于编码智能体基准测试的设置。它建立在一个名为 Cordis 的插件内核之上,DeepSeek 和北京大学曾在一篇论文中描述过其设计。

✴ DeepSeek 的 API 接受 OpenAI Responses 格式的请求,因此 OpenAI 的 Codex 编码智能体在运行一个 setup script 后即可使用 DeepSeek 模型。这使得从 OpenAI 模型迁移更容易。

●性能表现:独立评测者发现,DeepSeek-V4-Pro-0813 相比 4 月预览版有显著提升,但相较 DeepSeek 更小的 Flash 模型只保持了微弱领先。DeepSeek-V4-Pro-0813 在开源权重模型的综合智能表现中首发位列第三,但在 Artificial Analysis 的 Intelligence Index 上距离最佳闭源模型大约还差 10 分。它最明显的改进体现在编码能力上。该模型的单任务成本仍然只是大多数闭源领先模型的一小部分,但在降价之后,OpenAI 的 GPT-5.6 Luna 几乎同样有能力,而且现在每个任务的成本更低。

✴ 在 Intelligence Index 上,这是一项由九项经济实用型任务评估组成的综合指标。将 DeepSeek-V4-Pro-0813 设为最高推理时,它得分 53 分,每任务成本 $0.25;相比之下,它从 4 月预览版设为最高推理时的 45 分(每任务 $0.05)提升了 8 分,也比设为最高推理时的 DeepSeek-V4-Flash-0731(52 分,$0.11)高出 1 分。它在该指数上落后于 10 个模型,包括设为高推理的 Gemini 3.7 Flash(57 分,$0.40)。它优于设为最高推理的 GPT-5.6 Luna(52 分,$0.05/任务),但 GPT-5.6 Luna 是少数每任务成本低于更新后的 DeepSeek-V4-Pro 或 Flash 的模型之一。

✴ 在 DeepSeek 的测试中,使用的是最高推理和 DeepSeek Harness 的最小配置,DeepSeek-V4-Pro-0813 的最大提升来自编码智能体任务。在 Terminal-Bench 2.1(命令行环境中的多步任务)上,它从 72.1% 提升到 87.9%;在 DeepSWE(解决困难的软件工程问题)上,它从 12.8% 提升到 62.7%;在 CyberGym(发现软件漏洞)上,它从 52.7% 提升到 83.3%,略微领先于设为最高推理并带 fallback 的 Claude Fable 5(83.1%)。

✴ 使用其他 harness 对 DeepSeek-V4-Pro-0813 进行的独立评测显示,其在 Terminal-Bench 2.1 上的表现更低。使用自家内部评测 harness 的 Vals AI 测得该模型为 54.68,而使用开源 Terminus 2 harness 的 Artificial Analysis 测得其为 78.7%。

● 新闻背后:DeepSeek 最近发布了具有视觉能力的实验版 DeepSeekV4-Flash。公司尚未宣布推出类似的、支持视觉语言的 DeepSeekV4-Pro 版本的计划。

●重要原因:DeepSeek 公开了其用于基准测试模型的 harness,而这样做的公司并不多。智能体性能是模型本身与其脚手架的共同作用结果,因此公开 harness 的意义在于,开发者不再只能阅读这些数字,还能够复现它们。这个 harness 也是 MIT 许可,并且与模型无关。

● 我们在想:智能体harness 市场正在变得越来越拥挤!虽然这是一个开源发布,但一些用户在安全专家对 DeepSeek Harness 进行彻底评估,以及在其他模型而非 DeepSeek 模型上运行的基准测试公布之前,可能会对将其投入生产持怀疑态度。希望我们很快能看到扎实的第三方测试——随后还有开发者实验和修改——尽快出现。

点击下方阅读原文查看更多有趣内容哦~

阅读原文

跳转微信打开

The Batch: 977 | AI 对速度的需求为何如此迫切

2026年9月2日 12:45

原创 DeeplearningAI 2026-09-02 12:45 北京

Hi~新朋友,记得关注我们哟

已经在跟踪模型成本和准确率的开发者,现在又有了一个新的重要理由去更关注第三个关键因素:速度。

●最新消息:OpenAI 和 Cerebras 预览了 Ultrafast,这是一项新的 API 服务层,运行在 Cerebras 硬件上,而不是 OpenAI 通常使用的基础设施上,搭载的是 GPT-5.6 Sol。

✴ 吞吐量:Ultrafast 宣称每秒最高可输出 750 个 token。Artificial Analysis 在 OpenAI 自家 API 上以最高推理强度测试 GPT-5.6 Sol,结果为每秒 65 个 token,这意味着 Ultrafast 大约快 11 倍。

✴ 完成时间:在 6 个质量匹配的 GDPVal (OpenAI 用于衡量真实、经济价值较高工作任务的基准)任务中,Cerebras 测得 Ultrafast 每个任务耗时 83 秒,而标准版 Sol 需要 7.7 分钟,端到端速度提升 5.6 倍。

✴ 延迟:GPT-5.6 的延迟异常高。Artificial Analysis 显示,标准版 GPT-5.6 Sol 在最高推理强度下,首个回答 token 的出现时间为 97.2 秒;相比之下,GPT-5.5 在高推理强度下为 14.5 秒。两家公司都尚未公布 Ultrafast 的延迟数据。

✴ 价格与可用性:仅向部分客户开放有限预览,其他用户可排队等候;尚未公布价格或正式全面上线日期

✴ 未披露:基准测试结果尚缺独立验证

同一周里,还有另外两个发布把“速度”作为主打卖点。Google 推出了 Gemini 3.7 Flash,Nvidia 发布了 Nemotron 3.5 Lightning。这三者都面向正在构建这类应用的开发者:响应时间决定产品表现有多好。

●速度到底是什么:在 AI 领域,“速度”常常对应两个指标,而不同模型和硬件对它们的处理方式也不同。延迟(有时称为首 token 时间)是模型开始返回响应前的等待时间;吞吐量则是模型启动后每秒生成多少 token。Ultrafast 主要针对吞吐量:Cerebras 的硬件将 GPT-5.6 Sol 的权重保存在 44GB 的片上 SRAM 中,避免了访问外部存储器所带来的瓶颈,而这正是基于 GPU 的推理常见的限制。

✴ Ultrafast 上的 GPT-5.6 Sol:吞吐量方面最清晰的展示来自 Cerebras。Ultrafast 在 Humanity’s Last Exam(这是一项涵盖 100 多个学科、测试专家级问题的考试) 上回答了全部 2,500 道题,耗时 11 小时 11 分钟;相比之下,Claude Fable 5 需要 78 小时 27 分钟,Ultrafast快了约 7 倍。Cerebras 还表示,Ultrafast 在 Fast 模式整体上比 Claude Fable 5 快 11 倍,比 Claude Opus 4.8 快 5 倍。

✴ Gemini 3.7 Flash:Google 尚未披露 Gemini 3.7 Flash 的吞吐量或延迟数据,但 Artificial Analysis 测得其输出速度为每秒 330 个 token——仅次于 Gemini 3.5 Flash-Lite——首 token 等待时间为 13.2 秒。该模型相较前代也有性能提升:其 Artificial Intelligence Index 平均分为 56,高于 Gemini 5.6 Flash 的 52。

✴ Nemotron 3.5 Lightning:据 Nvidia 称,其输出速度最多比同类其他模型快 4 倍,智能体式任务完成速度快 30%。Artificial Analysis 在不同提供方之间测得其平均吞吐量为每秒 302 个输出 token,首 token 时间为 7.5 秒。Nvidia 与该模型一同发布的开源路由库 NeMo Switchyard,会将智能体工作流中的每一步发送给当前最适合该步骤在速度、质量或成本方面需求的可用模型。Nvidia 报告称,通过 Switchyard 进行路由,而不是让每一步都在单一大模型上运行,可将任务完成成本降至仅使用 Claude Opus 4.8 的约三分之一。

● 新闻背后:Ultrafast 并不是 OpenAI 对速度的唯一投入。本周,该公司发布了其首批关于 Jalapeño 的测试结果;Jalapeño 是其与 Broadcom 合作生产的新推理芯片。这些测试显示,在同时运行 OpenAI 自家的模型和开源权重模型时,延迟和吞吐量表现都很有前景。需要注意的是,芯片厂商也必须在速度、用户总量以及硬件功耗之间取得平衡:这些因素都会影响推理成本和可靠性。

●重要原因:以这样的速度进行推理,改变的不只是模型完成固定任务的好坏,而是它能被用于什么。

✴ 在对话和其他实时应用中,用户会直接感受到延迟:如果语音助手停顿超过约 1 秒,体验就开始显得不正常,因为人类对话的轮次间隔大约在 0.3 到 1 秒之间。

✴ 对于用智能体写代码的开发者来说,等结果几分钟就足以让人分心、忘记上下文,或者转去做别的任务。之后再回来,就得在脑中重新构建问题,这会因为上下文切换而增加心理疲劳。

✴ 低延迟和高吞吐量有助于常驻智能体监控系统、网站或安全信息流,并在事件发生时立即作出反应。一个需要花一分钟分析才能发现问题的智能体,可能已经错过了实时采取行动的窗口。

✴ 工具使用同样高度依赖延迟和吞吐量。搜索、代码执行和数据检索工具都会给智能体式工作流增加时间成本。

● 我们在想:更快的 AI 模型已经使智能体能够写代码、检索数据,并以接近语音速度回应对话。我们鼓励开发者不仅思考哪些应用需要更高吞吐量和更低延迟,也要思考那些只有借助新模型和新硬件所能提供的速度才可能实现的新应用。

点击下方阅读原文查看更多有趣内容哦~

阅读原文

跳转微信打开

The Batch: 976 | GLM-5.3 取得网络安全进展

2026年9月1日 12:45

原创 DeeplearningAI 2026-09-01 12:45 北京

Hi~新朋友,记得关注我们哟

Z.ai 的最新旗舰模型在 Artificial Analysis 的智能基准指数上,表现与开源权重领先者 Kimi K3 持平。该公司表示,这个模型在发现并利用软件漏洞方面能力提升,因此在发布其权重之前需要先进行安全测试。

●最新消息:Z.ai 仅通过微调其前代模型 GLM-5.2,就提升了 GLM-5.3 在编码和智能体工作中的表现,而无需从头训练一个新模型或修改其架构。

✴ 输入/输出:输入文本最多 100 万 token,输出文本最多 128,000 token,速度为每秒 90 token

✴ 架构:混合专家 transformer,总参数量 7530 亿,每个 token 激活 400 亿参数

✴ 功能:可调推理级别(低、高、最大)、工具调用、结构化输出、流式传输、上下文缓存

✴ 性能:在 Artificial Analysis 的 Intelligence Index 上获得 60 分;在对 Z.ai 的测试中,其在 CyberGym(漏洞检测基准)上取得所有模型中的最高分

✴ 可用性/价格:GLM Coding Plan 订阅(每月 18 美元至 168 美元)和 ZCode 开发环境;Z.ai 的 API 价格为每百万输入/cached/输出 token $1.40/ $0.26/ $4.40

✴ 权重/许可证:权重预计在发布后约两周提供,许可证尚未公布(GLM-5.2 使用 MIT 许可证)

✴ 未披露:知识截止时间、GLM-5.3 的具体训练数据

●工作原理:公司扩大了 GLM-5.2 的微调方案,将其应用到规模更大、更多样化的环境集合中(即模型尝试执行指定任务的模拟工作区)。该方案包括单次 rollout 的异步优化,这是一种强化学习方法,它一次只训练一个尝试,而不是等待整批完成。训练方法还会把智能体尝试过程中的长记录切分并压缩成片段,使模型能从长时间运行的任务中学习,而不只是短任务。

✴ 公司设计的编码相关训练任务,更像长期的软件工程工作,而不是规整、独立的谜题。在其中一个任务里,模型获得了一个机器学习工程师的工作环境,被要求找出训练流水线变慢的原因,然后优化流水线,并在不降低输出质量的前提下证明提速有效。

✴ Z.ai 训练所需的环境数量,超过了开发者自己能够构建的范围。公司使用智能体来构建环境,并在某些任务中也用智能体来提供奖励信号。

✴ 另一个独立的评分智能体会先检查每个任务在对应环境中是否可解,然后再对模型表现打分。Z.ai 构建每个评分器时都不会向其展示任务的参考答案。只有当评分器接受了正确解法,并且正确拒绝了未经修改或未完成的方案时,它的判定才算有效。

✴ 公司还研究并试图阻止模型进行奖励黑客行为,即模型利用漏洞骗取奖励而不是真正完成任务。

● 性能表现:独立测试显示,GLM-5.3 与顶级开源权重模型处于同一水平,只比领先的专有模型低几个百分点,但在智能体工作上有显著提升。Z.ai 自己的测试显示,其在智能体编码和网络安全方面的提升最大。

✴ 在 Artificial Analysis 的 Intelligence Index 上,(这是一项由九个对经济上有用任务的评估组成的综合指标),GLM-5.3 将推理设为最大时得分 60 分(每项任务 0.68 美元),与 Kimi K3(每项任务 0.84 美元)表现持平,并比将推理设为最大时的 GLM-5.2(每项任务 0.44 美元)高出 7 分。它落后于领先的专有模型,包括将推理设为最大的 Claude Opus 5(63 分,每项任务 2.34 美元)、将推理设为最大的 GPT-5.6 Sol(61 分,每项任务 0.96 美元/1.23 美元)以及将推理设为高的 Grok 4.6(61 分,每项任务 0.84 美元)。

✴ 在 Z.ai 的网络安全测试中,GLM-5.3 在 CyberGym (通过触发错误来寻找并确认源代码中的漏洞)上获得 84.5%,这是该基准上的最高分,超过 Claude Mythos 5(83.8%)和 GPT-5.6 Sol(83.6%)。在 ExploitBench(测试针对加固软件的漏洞利用尝试)上,GLM-5.3 达到 54.4%,是 GLM-5.2(24.4%)的两倍多,也领先于 Kimi K3(32.2%),但远远落后于 Claude Mythos 5(78.0%)和 GPT-5.6 Sol(76.5%)。

✴ GLM-5.3 的通用知识成绩就没那么亮眼了。它在 Humanity’s Last Exam 上答对了 42.3% 的问题(落后于较旧的 Grok 和 Claude Opus 模型),在 GPQA Diamond 上解决了 91.72% 的问题(在中等设置下落后于 Gemini 3.7 Flash),而且其 AA-Omniscience Accuracy 得分只有 34%,远低于其他顶级模型。

✴ 在 Code Bench 上,这是 Z.ai 针对编码任务设计的自有基准,基于完成度和逐步准确率评分;将推理设为最大时,GLM-5.3 使用大约每个任务 75,000 个输出 token 完成了 34.5% 的任务,领先于将推理设为最大的 Claude Opus 4.8(29.5%,每个任务 120,000 token),但落后于将推理设为最大的 Claude Fable 5(39.5%,每个任务 57,000 token)。

● Z.ai 的低调发布:本周,Z.ai 确认,Ox Alpha——一个处于低调模式、在 OpenRouter 和其他平台用户中迅速走红的多模态模型——实际上就是 GLM-5.3 Flash。公司还依据 MIT 许可证发布了这个 3200 亿参数模型的权重。

● 新闻背后:GLM-5.3 出现在关于“具有先进网络安全能力的开源权重模型是否危险到不应发布”的争论中,并同时为双方的观点提供了可信度。

✴ Z.ai 选择的是临时护栏,而不是 OpenAI 和 Anthropic 采取的永久性方案;后两者都要求组织注册后才能使用其最擅长安全利用的模型。相反,Z.ai 公布了该模型在 CyberGym 和 ExploitBench 上的得分,并选择只在与经过筛选的安全合作伙伴进行两周安全评估后才发布模型权重。

✴ GLM-5.3 的发布引来了竞争对手的直接回应。在 8 月 17 日的一篇帖子中,OpenAI 总裁 Greg Brockman 警告称,具备接近或达到最先进水平网络技能的开源权重模型,可能会“显著加速威胁态势”,并附上了 GLM-5.3 的发布页面链接。他的警告出现在数周之后;此前,OpenAI 自己的评估智能体曾从其 ExploitGym 环境中逃脱,并攻破了 Hugging Face 的基础设施。

✴ 对其他开源权重模型的早期测试表明,这种警报可能超过了实际威胁。7 月,美国和英国的 AI 安全研究机构联合评估了 Kimi K3,发现它在 41 项 ExploitBench 任务中没有执行任意代码——这是最严重的结果。最强大的专有模型在关闭防护后,平均会执行 20 次任意代码。

●重要原因:Z.ai 的目标是打造更强的智能体编码器,但同时也得到了一个非常擅长发现安全漏洞的模型。公司有意加入了数据和环境,当模型发现网络安全缺陷时就会获得奖励。按预期,随着训练规模扩大,这项能力也随之提升,并在 CyberBench 上超过了其他所有模型。但该模型在构建漏洞利用方面的进步,超过了设计者在发现漏洞方面的目标。公司并不打算让 GLM-5.3 在 ExploitBench 上的得分比前代提高一倍以上;模型只是通过追逐利用漏洞所带来的可用奖励,变得更强了。

● 我们在想:Z.ai 每次发布的模型都比上一次更强,也引发了更多关注。所有用户都会受益于 AI 实验室彼此竞争、不断超越对方——尤其是在它们把权重开放给所有人研究、修改,并在自己的硬件上运行的时候。继续把新模型呈上来吧!

点击下方阅读原文查看更多有趣内容哦~

阅读原文

跳转微信打开

吴恩达来信:AI 工程技能图谱详解——软件工程基础

2026年8月31日 12:45

原创 DeeplearningAI 2026-08-31 12:45 北京

为什么软件基础对 AI 开发者仍然至关重要

Hi~新朋友,记得关注我们哟

亲爱的朋友们:

随着智能体式编码的出现,软件工程基础发生了怎样的变化?即使你使用编码智能体来编写全部代码,理解软件基础仍然很重要,因为这能帮助你引导智能体做出你希望的权衡——甚至让你知道有哪些权衡需要做。除此之外,在构建 AI 应用时,AI 核心通常会通过更广泛的软件应用来体现,而这一整体会由优秀的工程师来塑造。

一个在不理解软件基础的情况下进行 vibe coding 的新手,虽然也能创建简单应用,但这往往会导致编码智能体在延迟、可用性、一致性、可靠性、可维护性、简洁性和/或成本方面做出糟糕的权衡。大多数情况下,开发者甚至不知道这些权衡的存在,因此也就没有引导智能体针对其应用场景做出正确决策。

今天这封信阐述了我们对 AI 工程技能的研究所发现的软件工程中最重要的知识点。它要求具备以下能力:

✴ 构建全栈应用

✴ 管理数据

✴ 设计系统架构

✴ 构建安全可靠的系统

✴ 在生产环境中扩展并运维

构建全栈应用。智能体式编码使许多过去从事更专门角色(如前端开发或移动端开发)的开发者,能够承担更广泛的全栈角色。编码智能体可以帮助处理开发过程中你可能不太熟悉的部分。不过,理解整个全栈究竟是如何运作的仍然很重要。优秀的开发者理解前端和后端系统的关键组件与概念,包括 UI 组件、缓存、页面渲染、API 的选择与设计、身份认证、状态和会话管理、异步处理、数据持久化、测试、安全性以及可访问性。

管理数据。数据值得特别关注,因为它是软件所构建其上的基础,而且相对难以变更(即使智能体可以协助迁移也是如此)。当你知道如何管理数据时,你就能思考访问模式,并据此决定要存储什么以及存多久。你可以识别合适的数据模型,并选择适当的存储类型(如关系型表、文档、键值或图数据库)及基础设施,而这些又会影响速度、可扩展性、可用性、可靠性和成本。你理解事务、并发,以及如何确保数据干净、一致且最新。在需要时,你还能确保适当的隐私、治理和合规性。你知道如何管理数据生命周期。

随着应用演进,你也知道如何相应演进数据架构。决定如何管理数据需要大量由人提供的上下文。你的 AI 系统会从数据源中获得它自己的输入上下文,因此如果数据架构选择不当,AI 就不知道自己不知道什么。这也是为什么需要具备相关上下文并精通 AI 工程的人——也就是你!——对其进行专业干预,把它设置正确。如何为智能体而非仅为传统软件或人类构建数据基础设施,也是一个快速演进的领域,你应当随着领域发展持续调整最佳实践。

设计系统架构。当你理解了软件和数据全栈的主要组件之后,你就更有能力决定如何把这些部分组合起来。良好的系统设计要求理解软件的预期用途(有多少用户?延迟有多重要?成本有多重要?等等),以便你可以在应用平台、前后端边界、系统拆分、应用状态放置以及架构粒度(单体 vs. 微服务)方面做出选择。你还需要选择技术栈(编程语言、运行时、组件/前端/后端框架、数据技术)——有时还会先通过实验评估各种方案,再最终确定其中之一。

此外,合适的架构是一个不断变化的目标,取决于项目所处阶段。你为快速原型选择的简单架构,未必适合构建第一个生产系统,而随着应用规模扩大,这一架构也可能再次变化。做出这些决策需要对软件组件和应用上下文都具备深厚的技术知识,这样你才能对架构进行设计并持续演进,以做出更优的权衡。

构建安全可靠的系统。要构建可靠系统,你应当知道如何制定测试策略来验证系统的正确性:单元测试与集成测试如何搭配,使用哪些框架,以及需要达到怎样的覆盖率。你还知道如何围绕可能的故障进行设计——如何处理故障(例如 API 命中速率限制)、构建优雅降级,以及尽量缩小故障影响范围。此外,与其先写软件再后来考虑如何保护它,“左移”运动正把安全工作提前到生命周期更早阶段(在传统项目时间线中向左移动)。正如所有开发者都在向全栈开发者转变一样,如今许多开发者也正在部分承担安全工程师的职责。现在你可以使用 AI 工具扫描代码中的漏洞、检查依赖项是否存在供应链注入风险,并审查云配置中的攻击面。但要把这些工作做好,仍然需要一定的安全知识。

在生产环境中扩展并运维。为了服务真实用户,你必须知道如何将软件部署到生产环境。了解如何执行软件开发生命周期(SDLC)会对你有所帮助;该生命周期除了构建和测试之外,还包括配置部署环境、决定发布策略、实施部署自动化(CI/CD),以及理解基础设施即服务(IaaS)。

在生产环境中运维需要部署可观测性工具、设置告警并管理事件。最后,要扩展你的应用,你应当理解真实负载,并知道如何扩展服务器、进行负载均衡,以及通过调整数据基础设施(如分片、索引、复制)或进行架构变更,使系统能够适应规模增长。最后,理解版本控制、代码评审、依赖项维护以及如何管理技术债务等编码最佳实践,有助于你让系统持续演进。

编码智能体已经改变了我们构建软件的方式,包括那些不包含任何 AI 组件的软件。有些编码知识——比如记忆代码语法——正在变得过时。但深刻理解软件如何工作的开发者,远远优于那些在不理解的情况下仅凭感觉编程的人。

理解软件基础(以及 AI)也有助于你弄清楚软件能做什么、不能做什么。这使它们成为你使用编码智能体并塑造构建过程时的重要上下文。我会在接下来的两封信中讨论这些内容。

请不断构建!

吴恩达

点击下方阅读原文查看更多有趣内容哦~

阅读原文

跳转微信打开

❌