铃阅时讯
❌

阅读视图

B站特征选择算法LeAP:模型的“精准瘦身”实践

原创 AI 2026-06-17 12:00 上海

在深度学习推荐系统中,想要自动化地筛选特征,并没那么简单。

论文arxiv:https://arxiv.org/abs/2606.01111(作者:bilibili搜索团队。已被ECML-PKDD 2026录用)

一、现状与挑战

在深度学习推荐系统中,想要自动化地筛选特征,并没那么简单。现有的特征选择方法在真实的工业场景下,目前依然存在以下挑战:

挑战1 维度异构问题

工业模型的输入极其复杂,既有 1D 的连续统计特征,也有高达 128D 甚至 256D 的用户行为序列 embedding。用统一的惩罚项来约束所有特征,这就导致高维特征天然能产生更大的梯度来对抗惩罚;而有用的 1D 特征更容易被稀疏化。

挑战2 稀疏特征问题

真实场景中存在长尾特征,99%以上的样本在这个特征上都是默认值。现有的特征选择算法常把这种“低激活频次”误认为是“毫无用处的噪音”,从而施加重罚直接剔除,导致模型丢失了关键的个性化长尾信号。

挑战3 排列(Permutation)方法的算力问题

什么是 Permutation [1] ?它的核心思想是:如果想知道某个特征到底重不重要,就把这一列特征的样本数据彻底打散(Shuffle),人为制造噪声以切断它与真实标签之间的关联,然后看模型的预测性能掉了多少。性能掉得越惨,说明特征越关键。

虽然这种方法直观、客观且具有很强的模型无关性,但它要求对成百上千个特征依次、孤立地进行打乱和重新前向推理。这种次推理的计算复杂度,在动辄几十上百亿样本的大规模数据流中,面临严峻的算力问题。

挑战4 掩码门控(Mask-Gate)的权重代偿与不极化困境

业界主流的深度学习特征选择通常基于掩码门控机制 [2,3,4],但在端到端联合训练时,门控变量与网络下游权重存在严重的代偿效应。当正则化项施压迫使门控值缩小时,为了维持原有特征的信息传递量,模型会自动放大该特征对应的下游网络参数进行补偿。这种代偿机制使得特征得分往往停留在非零的模糊区间,无法实现向 0 或 1 的极化收敛。由于门控分数的绝对值无法直接反应特征真实贡献,特征保留的阈值划定退化成了繁复的阈值试错过程,大幅增加了验证成本。

挑战5 超参调节问题

工业级特征选择模块应当具备极简的超参空间。部分现有方法(如 LPFS [2])为了强制特征重要性收敛到0,引入了复杂的极化函数,额外增加了多达5个以上的超参数,不同超参数组合产出的特征重要性又不一致,导致实际使用的困难。

二、LeAP: 把“特征打散”做成

端到端可学,并采用自适应

梯度去偏的正则稀疏

为了推翻这五个挑战,LeAP (Learnable Adaptive Permutation)放弃了传统的离散打乱验证,将计算密集型的特征打散过程改造成了一个复杂度的端到端可学习模块。

核心网络架构与公式化表述

理论上,我们可以将门控网络插入到模型的任何位置,但在工程实践中,为了方便和通用性,LeAP 通常在模型的特征拼接层之后插入一个轻量级的门控模块。

在每一次 batch 训练中,我们通过算法在 batch 内部对第 i 个特征进行独立洗牌,生成服从原始边缘分布的“伪造噪声”。为了让大家更直观地理解这个过程,这里贴一段精简后的 TensorFlow 核心代码:

    # shuffle all feature
    # hidden is the feature concat representation
    def shuffle_all_features(hidden, fea_dim_range_dict):
        """
        对 hidden(形状 [B, D]) 的所有特征做样本间行洗牌。
        不同的特征使用不同的随机排列。

        fea_dim_range_dict: 类似 {
            fea_0: {'dim_start':0, 'dim_end':3},
            fea_1: {'dim_start':3, 'dim_end':7},
            fea_2: {'dim_start':7, 'dim_end':10},
            ...
        }
        返回: shape=[B, D] 的张量,逐特征完成洗牌。
        """
        # 先把特征 ID 排序,确保按原顺序拼接回去
        sorted_keys = sorted(fea_dim_range_dict.keys())

        shuffled_blocks = []
        for f in sorted_keys:
            d_start = fea_dim_range_dict[f]['dim_start']
            d_end   = fea_dim_range_dict[f]['dim_end']

            # 切出这个特征的列区间
            mid_part = hidden[:, d_start:d_end]  # [B, (d_end - d_start)]

            # 对该特征单独生成一个随机行排列 perm_f
            B = tf.shape(mid_part)[0]
            perm_f = tf.random.shuffle(tf.range(B))  # [B], 每行打乱

            # 对 mid_part 行洗牌
            mid_part_shuffled = tf.gather(mid_part, perm_f, axis=0)

            shuffled_blocks.append(mid_part_shuffled)

        # 把所有洗牌后的分块按列拼回 [B, D]
        hidden_shuffled = tf.concat(shuffled_blocks, axis=1)
        hidden_shuffled.set_shape([None, hidden.shape[1]])
        return hidden_shuffled

    接着,引入一个特征专属的可学习门控变量(通过 Sigmoid 函数参数化),将原始特征与噪声特征进行无缝的融合组合:

    这里使用了一个至关重要的操作——。这个操作的作用是确保反向传播时,梯度不会通过噪声分支传回去污染上游。

    为了促使特征走向稀疏,我们在模型的总损失(Total Loss)中加入了正则项约束:

    很明显,如果一个特征是冗余的,用噪声替换它后模型的并不会受到影响。那么在正则化的持续施压下,就会被压向0。

    • 当时,模型完全依赖真实的原始特征;

    • 当时,模型则倾向于完全使用打散后的噪声。

    对比掩码门控(Mask-Gate),LeAP 的核心机制转变在于,将特征层面的“幅度缩放”(Masking)替换为了“信息替换”(Noise Substitution)。 面对按比例混入的真实打散特征,由于洗牌操作直接切断了该维度与 Label 之间的互信息,下游网络即使试图通过放大权重来进行代偿,也只会成比例地放大纯噪声的方差,进而导致模型整体的 Task Loss 迅速恶化。这种结构设计从根本上阻断了网络的代偿退路:对于核心特征,模型必须顶着正则压力维持其门控值。

    【自适应梯度去偏正则】

    为了解决异构维度和极度稀疏问题,LeAP 抛弃了统一惩罚(如全局 L1 正则),创新性地提出了 基于特征打散差异(Shuffle Divergence)的自适应正则化。

    我们在每次 batch 训练中,实时计算原始特征与其被打乱版本之间的 L2范数差异:

    为了防止常数特征的 Shuffle Divergence 计算为 0 导致惩罚项失效,LeAP 会对其设置一个下界截断。

    通过指数移动平均(EMA)在整个训练周期内平滑这个散度得到后,特征 i 的自适应正则化权重被定义为:

    这里的是我们在全局设定的稀疏项超参数,这也是 LeAP 中唯一需要调参的变量。

    为什么这个设计能解决上述的异构与稀疏难题?这背后隐藏着非常巧妙的梯度动力学机制。损失可以拆分成任务损失和正则损失。根据链式法则,任务损失对门控变量的偏导数最终可以推导并解耦成如下两部分的乘积:

    正如公式所示,任务梯度的更新力度本质上由两项决定:

    (1) 真实敏感度(Sensitivity):模型任务本身对该特征表征的敏感程度,这才是我们真正想要的“特征重要性”指标。

    (2)打散差异(Shuffle Divergence):特征被打散前后的物理距离偏差,高维特征或稠密特征的物理差异天生就很大,这导致它们的梯度是被严重放大。这其实是一种不公平的“特征梯度偏差(Bias)”。

    而 LeAP 的精妙之处在于,我们将正则化惩罚项设置成了与正相关的。在反向传播中,总损失等于任务损失+正则损失。任务损失对门控产生的梯度本质上是,而正则损失的梯度则是。当任务损失与正则损失进行对抗时,这个偏差项就被抵消了! 

    最终的梯度方向,变成了特征的真实敏感度期望(特征重要性)与我们设定的全局稀疏化超参之间的纯粹较量。

    这套设计在数学上带来了一个极其优雅的特性:高可解释性与天然的极化趋势。

    在这里,“高可解释性”有着明确的物理意义:在设定了当前正则系数的前提下,门控分数直接反映了该特征能否被随机打散的噪声安全替换的概率 。

    同时,正因为优化的核心变成了与的直接拉扯,对于绝大多数特征而言,其敏感度与设定的之间存在明确的强弱差异:如果有用特征的敏感度压过了,它就会在梯度驱动下坚定地奔向 1;反之,若敏感度不足以抗衡,冗余特征则会被快速压向 0。

    上图是一个真实业务模型产生的特征重要性频数分布图,如图所示,LeAP 学出的特征重要性呈现出非常清晰的两极分化。这意味着算法工程师不需要像以前那样反复调参、设置多个阈值。在实际业务中,我们通常直接设定 0.5 作为分界线,就能干脆利落地“一刀切”,大大提升了特征筛选的确定性和迭代效率。

    三、真实的工业落地:

    在复杂业务中实现降本增效

    在公开数据集(Criteo [9] , Avazu [7] , ML-1M [6] , AliCCP [8] )上,LeAP 在不同剪枝率下的表现均达到了现有的 SOTA(State-of-the-Art)水平。

    在实际的真实业务生态中,目前,LeAP 已经在B站内的多个核心业务场景中成功落地应用。

    为了验证 LeAP 在业务场景下的能力,我们在一个包含 12,000+ 维特征、checkpoint大小高达 2TB 的排序模型上进行了离线验证。LeAP 成功识别出超过 3,600 个(占比超 30%)冗余特征维度,且离线评估指标没有任何降低。这充分证明了它在应对大规模工业模型时的有效性与稳健性。

    LeAP 带来了:

    • 推理提效,降本增效: 在各个业务线的多种模型场景中,LeAP 初次使用普遍有效删减了 15%~50% 的冗余特征。在保持线上核心业务指标(如播放量、互动量等)稳定的前提下,单模型的线上推理资源消耗直接降低了 5%~20%。

    • 加速日常特征迭代: 当算法团队引入一批新特征时,不再需要“盲人摸象”。先让模型训练收敛一段时间,随后接入 LeAP 跑一遍,可以直接客观评估新特征的实际价值,从而进行针对性筛选。这种“白盒化”的迭代体验,大幅缩短了实验验证周期,避免了无效特征对计算资源的无谓消耗。

    综上所述,LeAP 通过将离散的特征打乱过程转化为端到端的可学习门控网络,并结合优雅的自适应梯度去偏机制,成功解决了工业界特征选择中的维度异构与长尾稀疏难题。这套方法不仅在理论和公开数据集上得到了验证,更在 B站复杂的真实业务生态中实现了真正的降本增效。

    引用

    [1] Fisher, A., Rudin, C., Dominici, F.: All models are wrong, but many are useful: Learning a variable’s importance by studying an entire class of prediction models simultaneously. Journal of machine learning research: JMLR 20 (2019)

    [2] Yi Guo, Zhaocheng Liu, Jianchao Tan, Chao Liao, Daqing Chang, Qiang Liu, Sen Yang, Ji Liu, Dongying Kong, Zhi Chen, et al. 2022. LPFS: Learnable Polarizing Feature Selection for Click-Through Rate Prediction. arXiv preprint arXiv:2206.00267 (2022).

    [3] Yejing Wang, Xiangyu Zhao, Tong Xu, and Xian Wu. 2022. AutoField: Automating Feature Selection in Deep Recommender Systems. In Proceedings of the ACM Web Conference.

    [4] Yejing Wang, Zhaocheng Du, Xiangyu Zhao, Bo Chen, Huifeng Guo, Ruiming Tang, and Zhenhua Dong. 2023. Single-shot Feature Selection for Multi-task Recommendations. In Proceedings of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval. 341–351.

    [5] Jia P, Wang Y, Du Z, et al. Erase: Benchmarking feature selection methods for deep recommender systems[C]//Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2024: 5194-5205.

    [6] https://grouplens.org/datasets/movielens/1m/

    [7] https://www.kaggle.com/competitions/avazu-ctr-prediction

    [8] https://tianchi.aliyun.com/dataset/408

    [9] https://ailab.criteo.com/ressources/

    -End-

    作者丨r小黑、芯艺、飞戈、ylin、海忻、问天

    跳转微信打开

    •  

    别只盯着模型:Agent 真正的护城河,是这四层循环

    高可用架构 2026-06-17 11:36 广东

    为什么你的 Agent 总是跑不稳?你可能只搭了第一层

    导读:本文由 LangChain 开源开发者 Sydney Runkle 发布,指出循环设计能显著提升 AI agent 的有效性和自主性。

    文章详细介绍四种循环:代理循环、验证循环、事件驱动循环和爬山循环,并展示如何用 LangChain 原语组合实现。这些循环通过自验证、事件响应和轨迹优化等机制,帮助开发者在不更换模型的情况下改进 agent 表现。

    Image

    Agent 之所以有用,是因为它们能通过在现实世界中采取行动,帮助我们自动化工作。但要让 Agent 可靠地完成有价值的工作,不能只靠一个好模型,还需要一个精心设计、适配一组任务的运行框架。

    Agent 的核心算法很简单:给 LLM 上下文,让它在循环中调用工具,直到任务完成。这是最基础的循环。但驱动 Agent 的循环远不止这一种。@swyx[1] 最近写了一篇很好的文章,讨论 "loopcraft: the art of stacking loops"[2],也就是通过叠加和扩展循环来构建更有效的 Agent。

    下面是我们理解这组循环栈的方式,以及如何用 LangChain 的基础组件为每一层加上观测和控制。

    循环 1:Agent

    Agent 的核心,其实就是模型在循环中调用工具,直到任务完成。

    Image

    这正是 LangChain 的 create_agent[3] 提供的能力。选择任意模型,接入工具,你就有了一个可以工作的 Agent 循环。工具让 Agent 具备了在现实世界中采取行动的能力。

    以我们的内部文档 Agent 为例,后文也会继续用它作为贯穿示例。在第一层循环中,它会收到一个改进文档的请求,模型进行规划并起草修改,然后用工具克隆仓库、读取文件、编写文档、打开 pull request,等等。

    Image

    第 2 层:验证循环

    Agent 循环可以完成工作,但它第一次产出的结果并不总是正确或一致。当一致性很重要时,通常值得在外面包一层验证循环,用来检查输出,并在结果不达标时把反馈发回给模型。

    Image

    验证循环会加入一个评分器:它根据评分标准检查 Agent 的输出。如果检查失败,就把结果和反馈一起发回。评分器可以是确定性的,也可以是 Agent 式的,这里经典例子就是用 LLM 作为裁判。

    RubricMiddleware[4] 可以处理这种模式,你也可以在 create_agent 的 after_agent hook 里自己接起来。

    回到文档写作 Agent 的例子,评分器会在每次尝试后运行测试,检查所有链接是否可访问,所有 CI 检查是否通过,diff 是否只覆盖实际请求的范围。捕获这几类错误不需要人工审核。

    Image
    Image

    一个权衡是:加入验证会增加每次运行的延迟和成本。当质量比速度更重要时,它是值得的,而大多数生产用例都属于这种情况。

    第 3 层:事件驱动循环

    Agent 开发中最重要的部分之一是集成层:把 Agent 连接到你的生态系统里,让它可以在后台运行。

    事件驱动循环会把 Agent 连接到你的生态系统。一个事件触发了,新文档落地、定时任务启动、webhook 到达,然后 Agent 开始运行。Agent 不再是一个需要你手动调用的东西,而是在更大系统中持续运行的组件。

    Image
    Image

    LangSmith Deployment[5] 支持触发器基础设施,包括 cron 定时任务和 webhook。cron 的一个常见例子是 openclaw[6] 中的 “heartbeats”,它们会把你的 Agent 变成一个始终在线、主动工作的助手。

    我们的文档 Agent 由 Fleet[7] 驱动,这是我们的无代码 Agent 构建器。Fleet 的 channels[8] 和 schedules[9] 负责事件驱动和 cron 风格的触发。我们使用一个 channel,在有人向我们的 #docs[10]-plz Slack 频道发送消息时触发文档 Agent。

    Image

    第 4 层:爬坡循环

    前三个循环自动化的是工作。第四个循环,也可以说是最重要的循环,自动化的是改进。

    Image

    每次 Agent 运行都会产生一条 trace:它记录模型做了什么、调用了哪些工具、评分器反馈是什么,等等。这些 trace 里包含很有价值的信息,能说明哪些地方有效,哪些地方无效。爬坡循环会让一个分析 Agent 读取这些 trace,并根据发现重写运行框架,给出改进后的配置。这可能包括调整 prompt、工具或评分器。

    在 LangSmith 中,你可以用我们的 trace 分析 Agent Engine[11] 来搭建第四层循环。

    继续回到文档 Agent 的例子:我们让 Engine 分析文档 Agent 的 trace 来发现问题。当多条 trace 都指向一个潜在问题时,系统会提交一个 issue,要求修改出问题的 prompt 或工具。

    Image

    这里的关键动作是,返回箭头没有只是回到最上层,而是伸进内部,直接更新 Agent 循环。外层循环每跑一轮,都会让内层循环更有效。

    展望: prompt 和工具配置是最简单的改进对象,但选择并不止于此。对于运行开放权重模型的团队来说,爬坡循环可以接入 RL 微调,把 trace 或 eval 结果作为训练信号,用来改进模型本身。记忆、检索到的技能等辅助上下文,也可以用同样方式改进。循环是一种模式,它要优化什么,取决于你。

    人类监督与专业判断

    自动化并不意味着把人从循环中移除。在每一层,都有一些自然的位置适合加入人类监督。自动评分器可以检查链接是否可访问;但要发现表达方式是否适合目标读者,需要人来判断。这种来自上下文、经验和品味的判断,正是人工审核的价值所在。

    有些专业知识应该被固化进 prompt 和工具本身,但对于敏感操作,实时人工审核是必要的,比如金融交易、数据库操作等。LangChain 让你可以直接在每一层循环里接入这些触点:

    1. 在 Agent 循环中,对敏感动作或工具调用要求人工输入
    2. 在验证循环中,让人类为敏感工作流担任评分器
    3. 在应用循环中,输出返回给最终用户之前由人类批准
    4. 在爬坡循环中,运行框架的改进在部署前经过人工审核

    LangChain 的所有开源框架都把 “human in the loop” 做成了一等公民[12]。

    合在一起看

    如果你更喜欢表格形式,下面是这四个循环如何叠在一起:

    循环做什么影响LangChain 基础组件
    1:Agent 循环(模型 + 工具)模型反复调用工具,直到任务完成自动化工作create_agent,任意 LangChain 支持的模型
    2:验证循环(Agent + 评分器)Agent 运行,输出按评分标准打分,失败则带反馈重试保证质量RubricMiddleware
    3:事件循环(验证 + 系统)事件触发 Agent 运行,并更新真实系统规模化工作LangSmith Deployment / Fleet channels
    4:爬坡循环(系统 + 引擎)生产 trace 进入分析 Agent,用来改进运行框架配置持续改进LangSmith Engine

    这就是循环工程,或者按 @swyx[1] 的说法,loopcraft[2] 在实践中的样子。像 Steipete[13]、Boris[14] 和 Andrej[15] 这样的 AI 领导者,都已经得出了同一个结论:Agent 的潜力在于你围绕它们构建的循环。

    我们已经思考循环 1 和循环 2 很久了。但现在焦点应该转向循环 3 和循环 4:把 Agent 嵌入你的生态系统,并让它们持续根据你的标准改进,价值会在这里持续累积。

    Satya 这样描述组织层面的利害关系[16]:那些早早建立学习循环的公司,让人类判断和 token 资本一起持续累积,将建立一种很难复制的优势。

    致谢

    感谢 @Vtrivedy10[17]、@masondrxy[18]、@hwchase17[19] 和 @huntlovell[20] 的认真审阅。

    参考

    • deepagents quickstart[21]
    • create_agent docs[3]
    • rubric middleware[4]
    • cron jobs[22], webhooks[23]
    • langsmith engine[11]
    • fleet channels[8]

    参考阅读

    References

    1. @swyx: https://x.com/@swyx
    2. "loopcraft: the art of stacking loops": https://www.latent.space/p/ainews-loopcraft-the-art-of-stacking
    3. create_agent: https://docs.langchain.com/oss/python/langchain/agents
    4. RubricMiddleware: https://docs.langchain.com/oss/python/deepagents/rubric
    5. LangSmith Deployment: https://info.langchain.com/agent-development-platform?utm_campaign=evergreen_agent_development_platform_cv&utm_campaign_id=23761370321&utm_ad_group_id=195261126163&utm_ad_id=805594028616&utm_network=g&utm_term=ai%20agent%20development%20platform&utm_campaign=evergreen_agents_cv&utm_source=google&utm_medium=cpc&hsa_acc=7906965105&hsa_cam=23761370321&hsa_grp=195261126163&hsa_ad=805594028616&hsa_src=g&hsa_tgt=kwd-2392721013549&hsa_kw=ai%20agent%20development%20platform&hsa_mt=p&hsa_net=adwords&hsa_ver=3&gad_source=1&gad_campaignid=23761370321&gbraid=0AAAAA-PkievTcIb-6awevyQxCB-9n-H6Z&gclid=CjwKCAjwxb7RBhA5EiwAQ-AAdF5XHKtTYLgQVrVYstdxYjTd0hcrCuqxvuACiKzOOdxcJdTza8HkwxoCDiQQAvD_BwE
    6. openclaw: https://docs.openclaw.ai/gateway/heartbeat
    7. Fleet: https://www.langchain.com/langsmith/fleet
    8. channels: https://docs.langchain.com/langsmith/fleet/channels
    9. schedules: https://docs.langchain.com/langsmith/fleet/schedules
    10. #docs: https://x.com/search?q=%23docs&src=hashtag_click
    11. Engine: https://www.langchain.com/langsmith/engine
    12. 一等公民: https://docs.langchain.com/oss/python/deepagents/human-in-the-loop
    13. Steipete: https://x.com/steipete/status/2063697162748260627
    14. Boris: https://x.com/0xwhrrari/status/2064804504608887040
    15. Andrej: https://www.youtube.com/watch?v=kwSVtQ7dziU
    16. 这样描述组织层面的利害关系: https://x.com/satyanadella/status/2066182223213293753
    17. @Vtrivedy10: https://x.com/@Vtrivedy10
    18. @masondrxy: https://x.com/@masondrxy
    19. @hwchase17: https://x.com/@hwchase17
    20. @huntlovell: https://x.com/@huntlovell
    21. deepagents quickstart: https://docs.langchain.com/oss/python/deepagents/quickstart
    22. cron jobs: https://docs.langchain.com/langsmith/cron-jobs
    23. webhooks: https://docs.langchain.com/langsmith/use-webhooks
    24. 原文 https://x.com/sydneyrunkle/status/2066928783534289358

    如果你也在关注 AI 应用如何真正落地到生产环境,2026.6.26 - 6.27 举办的 GIAC 深圳站值得关注。这次大会将集中讨论智能应用开发、架构演进,Loop Engineering 以及来自一线实践的经验与案例。

    高可用架构读者可使用专属购票优惠码 UOp5XJcq,点击阅读原文进入购票页面即可使用。

    Image

    阅读原文

    跳转微信打开

    •  

    GLM-5.2上线并开源:专注Coding与长程任务

    智谱 2026-06-17 09:11 北京

    今天,我们上线并开源GLM-5.2。

    在全球百万用户参与盲测的前端开发评估系统Code Arena上,GLM-5.2取得全球可用模型第一的表现。

    从2025初开始,我们几乎投入全部力量攻关Coding,历时大半年,细扣每一个代码环境的优化,终于迎来代码基座GLM-4.5,年底的GLM-4.7已经成为效果最好的国产Coding模型。

    但代码还不是AGI,在通往AGI的路上,还有更多的高山需要翻越,迎面而来的就是长程任务。当下最需要模型突破的是完成一个极长的,跨越数天、数周乃至数月的任务执行。当一个模型不知疲倦地在写软件工程代码,本质上是在学习一名顶级软件工程师的思维方式,然后以机器的耐力将其放大。这是对一个又一个职业的重新定义。

    今天GLM-5.2专为长程任务能力而生,全新特色包括:

    • Solid 1M上下文,稳定支撑长程任务
    • 更强体感,更实用的Coding能力
    • 极致Infra优化,Day 0运行在国产算力平台
    • MIT开源协议,无地域限制,技术平权无国界

    1M上下文与长程任务

    支撑长程任务的第一步是GLM-5.2必须实现1M无损上下文。此前1M上下文大多数在超过数百K过后就开始劣化,主要问题在于不同时增强Coding Agent环境及数据的情况下单纯扩展到1M帮助有限。为此,我们花了几个月时间扩展1M Coding Agent的训练环境,覆盖自动化研究、性能优化等多个领域,使得GLM-5.2在1M上下文的solid表现有时甚至超过Opus(详见https://z.ai/blog/glm-5.2)。

    1M上下文构成GLM-5.2的长程交付能力,多个长程任务基准表明GLM-5.2的表现介于Claude Opus 4.7与4.8之间,是排名最高的开源模型。在FrontierSWE(测试AI是否能够像软件工程师在数小时尺度上完成复杂技术项目的测试集)上仅比Opus 4.8低1%,超过GPT-5.5(1%)和Opus 4.7(11%);不过在SWE-Marathon(考察Agent自主完成超长软件工程的测试集)上确实还需要进一步提高,低于Opus 4.8不少(13%)。

    在实际体验中,GLM-5.2完成开发、联调、测试到打包上线,完整交付一个覆盖Web、移动端与小程序的多端应用,累计处理88万tokens,几乎用满1M上下文窗口。过去,这样的大型工程需要一支团队协作数周,现在GLM-5.2能在一次长程任务中跑完。

    Coding体感

    GLM-5.2在前端、后端、长程任务上的成功率相比前一代GLM-5.1都有提升,复杂系统工程与深度调试更稳。在主流编程基准上,GLM-5.2保持开源SOTA,与Claude Opus 4.8处于可比区间。例如在Terminal-Bench 2.1(评测AI Agent完成不同类型的计算机终端任务),GLM-5.2比Opus 4.8低4%,相比GLM-5.1提升了17.5%;在MCP-Atlas(大规模工具调研评测的数据集),GLM-5.2比Opus 4.8低0.8%。

    在模型发布前夕,我们已提前向GLM Coding Plan用户全员开放,在数十万开发者的编程任务中,开发者反馈GLM-5.2的最大提升集中在:

      • 项目级上下文承载更强,能把完整工程放进同一条推理链路里;
      • 长程任务执行更稳定,复杂任务能持续推进,不容易中途跑偏;
      • 生产级工程规范遵循更可靠,能守住团队研发流程里的硬约束;
      • 客户端与移动端工程能力更扎实,不止写App,还能完成真机调试闭环。

      GLM-5.2还引入了effort level(思考档位)控制,可以在能力、速度、成本之间做出平衡。在相近的token预算下,GLM-5.2的Coding能力大致位于Claude Opus 4.7与Claude Opus 4.8之间。

      极致Infra优化

      GLM-5.2的进步来自模型架构、推理系统和训练基础设施的协同设计。我们提出IndexShare,在每四层稀疏注意力层之间复用同一个索引器(indexer),在1M上下文长度下,将单位token的FLOPs降低至2.9倍。此外,我们改进了用于投机解码(speculative decoding)的MTP层,将接受长度(acceptance length)最多提升20%。训练侧则依赖自研Slime框架支撑大规模Agentic RL和OPD训练。

      随着GLM系列的持续迭代与调用量的快速增长,线上服务的稳定性与效率愈发关键。GLM-5.2的线上推理依托多个国产算力平台,已在Day 0完成与华为昇腾、平头哥、摩尔线程、寒武纪、昆仑芯、沐曦、海光、壁仞等国产算力平台的推理适配,在国产芯片集群上实现高吞吐、低延迟、大并发的稳定运行。预计下半年昇腾 950 超节点上市后,也将成为GLM-5.2强劲的算力底座。

      面向开发者与知识工作者

      GLM-5.2能长时间自主推进更复杂、更长链路的任务,锁定高价值场景,这将改变开发者与知识工作者的工作方式。

      GLM-5.2在大型重构工程上表现出色。有开发者用Rust从零再造了送人类登月的计算机,将当年65000行、一字未改的登月飞控程序移植为Rust,整个过程由Agent全自主走完。

      通过我们的Agent产品AutoClaw,GLM-5.2的1M上下文与长程任务能力服务于设计、法务等白领场景,例如一次性写出数十个原型页面,自主迭代和微调,在设计中保持品牌规范与一致性。

      开源与使用方式

      GLM-5.2在Hugging Face与ModelScope开源,模型权重遵循最高权限MIT License,可自由下载、部署与商用。vLLM、SGLang、transformers等主流推理框架已经支持。

      同时,GLM-5.2 API已上线,并已纳入GLM Coding Plan,长上下文与长程任务同步升级,全量用户可使用。

      1. 开源链接

      2. 官方 API 接入

      3. 在线体验

      4. Agent

      5. Blog

      * 尾声

      AGI路上,我们还有更多的高山要翻越,下一座我们瞄向完全自治的智能体系统(Autonomous Agent System)。基于长程任务之上,让AI能够自主驱动、协同作业、7×24小时运转的智能体群体将成为新的生产力形态。从“智能助手”走向“数字员工”,构建包含成千上万个不同专业“性格”与“技能”的智能体社会,让它们自主辩论、协作、审查代码、调度资源,实现“自动驾驶”级别的数字生产力。很多核心技术还需要攻关:Memory、持续学习(Continual Learning)、自我评判(Self-Judge)。

      跳转微信打开

      •  
      ❌