铃阅时讯
❌

普通视图

最强GPT-6 Astra只对26.7%,Einsia AI发布的Visual Cipher Bench难住顶级AI

2026年11月18日 00:00

大模型智能 2026-11-18 00:00 吉林

DeepSeek、Qwen、Kimi视觉推理任务竟一题未对

图片

大模型智能|分享

来源 | 新智元

修 bug、写功能、跑长任务…… 今天的 Agent 几乎都能做。因为要求有文字说明,做错了有测试报错。

那如果规则只画在图里呢?

一张黑白线稿,几个编号,几条箭头。没有题干,没有选项,做对做错也没人告诉你。

所有线索都在图里,很难转成文字,只能反复看图、提假设、再回到图里验证。这就是长程视觉推理。

8 个前沿模型、3480 次尝试:最强的 GPT-6 Astra(max)只答对 26.7%,DeepSeek V4.1 Flash、Qwen 3.8 Max、Kimi K3.1 Pro 三个模型一题没对。

更戏剧的是:只要用一句话点明规则,总体准确率立刻从 12.2% 跳到 51.1%。

近日 Einsia AI 旗下 Navers Lab 发布 Agent 视觉推理基准 Visual Cipher Bench。

图片

40 道原创视觉谜题,67 张黑白线稿,它考的是长程视觉推理,正好卡在现有评测的空白上:

  • 视觉评测大多是单轮问答,题目问什么写得清清楚楚,推理链很短

  • Agent 评测几乎都在文本和代码里,就算用到图像,也能靠试错拿到环境反馈

  • Visual Cipher Bench 两头都不给:线索只在图里,对错没人告诉你

40 道题共用同一句指令:看图,把最终答案写进文件。

哪些图形是样例、哪些是待解的输入、答案是单词还是数字都得自己看。

40 道题分为四类,每类 10 道:

  • 空间操作与模拟:折叠、旋转、投影之后长什么样

  • 逻辑约束与规划:从图里读出约束,走通唯一方案

  • 规则归纳:从几个样例里悟出这道题独有的规则

  • 知识解码:认出摩斯码、盲文、文字游戏这类 “暗号”

图片

01

成绩单:榜首不到三成,三个模型 0 分

8 个模型、29 种推理强度配置,每种配置跑三遍。按各模型的最佳配置排:

  • GPT-6 Astra(max):26.7%,平均每轮解出 40 题中的 10.7 道

  • GPT-6.1 Sol(max)、Claude Opus 5.5(xhigh):并列 21.7%

  • GPT-6 Luna、Claude Sonnet 5.5:0.8%,三轮 120 次尝试,各只对了 1 次

  • DeepSeek V4.1 Flash、Qwen 3.8 Max、Kimi K3.1 Pro:0

29 个配置,没有一个摸到 30%。

而且没有中间地带:前三名每轮能解 8.7~10.7 题,后五名几乎为零。

图片

02

规则归纳,870 次尝试只对 5 次

29 种配置 × 40 道题 × 各跑 3 遍,一共 3480 次尝试。按题型拆开,偏科偏到离谱:

  • 空间操作:22.8%

  • 知识解码:3.3%

  • 逻辑规划:2.4%

  • 规则归纳:0.6%

榜首 GPT-6 Astra(max) 在空间题上能拿 80%;换到另外三类,没有任何配置超过 13.3%。

在规则归纳这个类别的 10 道题里,870 次尝试中只对了 5 次。

区别只有一个:空间题的规则通常直接画在图上,照着做就行;规则归纳类的,得自己悟。

更扎心的是,那 5 次里还有靠蒙的。这些谜题的答案大多是一个英文单词或短语;有的模型根本没找到规则,只是手头凑出的几个字母刚好能拼成一个和题面主题沾边的词,就把它交了上去,碰巧对了而已。

图片

03

一句核心规则提示准确率从12.2%提升到51.1%

既然卡在 “找规则”,那直接把规则告诉它呢?

Einsia AI 研究团队挑了 10 道题,给 GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna 各加一句提示:只点明核心规则,不给中间状态,更不给答案。

  • 总体:12.2% → 51.1%

  • 规则归纳:0% → 85.2%

  • GPT-6 Astra:23.3% → 70.0%

  • GPT-6.1 Sol:13.3% → 66.7%

  • 超时次数:90 次尝试里,从 51 次降到 29 次

图片

会不会只是 “多给一句话” 本身有用?团队做了对照:另写一句只讲 “怎么表示题目状态”、不讲规则的提示,准确率只到 16.7%。

起作用的不是提示,是规则本身。

不过规则也不是万能药:逻辑题给了规则也只有 22.2%,因为对于这些,执行本身就是困难。

04

AI 的两种输法:赌徒和苦力

翻开失败的轨迹,输家只有两种。

赌徒,押一把就走。 找到一条只能解释部分样例的规则,剩下的看都不看就提交;实在悟不出来,干脆按题面主题押一个词,有的还一边承认 "没解完" 一边交卷。

苦力,埋头算到底。 不缺工具调用,缺的是收网:要么在通用规则里大海捞针,要么明明找对了机制,却把所有组合挨个枚举,就是不用题目的约束剪枝。直到时间耗尽,答案也没解出来。

赢家两样都不做,而是先写下几个候选规则,把每个样例当成一道验证题逐一筛,只剩一个才动手求解。

赌徒只用了一部分证据,苦力拿穷举代替证据。可图里的样例,本身就是测试用例。

05

真实世界,从不给题干

一句话提示,准确率就能从 12.2% 跳到 51.1%。

很多时候,AI 和答案之间只隔着这一句话。

可偏偏是这句话最难。文档会写需求,测试会报错,真实世界什么都不说,没有人会提前告诉你,眼前这堆线条该按什么规则去读。

自己看,自己猜,再回到图里自己验证。因此长程视觉推理,是 AI 接下来要补的课。

从 “看图找不同” 到密室逃脱,人类一直拿解谜来丈量聪明。现在轮到 AI 站到这把尺子前,第一次量出来的成绩是:26.7 分。

图片

技术交流群邀请函

图片

图片

图片

图片

△长按添加小助手

扫描二维码添加小助手微信

请备注:姓名-学校/公司-研究方向-城市

(如:小夏-浙大-大模型-杭州)

即可申请加入深度学习/机器学习等技术交流群

—完—

图片

跳转微信打开

【轻量化复刻大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示

2026年11月17日 21:13

原创 罗西的思考 2026-11-17 21:13 北京

【轻量化复刻大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示

  • 0x00 概述
  • 0x01 核心数学
    • 1.1 MTP 层前向(§4.1.4)
    • 1.2 联合损失(Table 1)
    • 1.3 EAGLE‑3 特征融合(§4.1.4)
    • 1.4 LK 损失 (Eq. 16)
    • 1.5 投机解码加速比
    • 1.6 Lossless Verify 判据
    • 1.7 Cache 快照‑回滚
    • 1.8 KimiDeltaAttention 完整层
  • 0x02 设计思路
    • 2.1. 零重复代码原则
    • 2.2 各 Tab 说明
    • 2.3 运行方式
  • Tab 1: 架构总览
    • 目的
    • UI 组件与参数影响
    • 输出图解读
    • 为什么重要
  • Tab 2: 偏移对齐
    • 目的
    • UI 组件与参数影响
    • 输出图解读
    • 为什么重要
  • Tab 3: 联合损失
    • 目的
    • UI 组件与参数影响
    • 输出图解读
    • 调节建议
    • 为什么重要
  • Tab 4: 融合初值
    • 目的
    • UI 组件与参数影响
    • 输出图解读
    • 为什么重要
  • Tab 5: 加速比理论
    • 目的
    • UI 组件与参数影响
    • 输出图解读
    • 调节建议
    • 为什么重要
  • Tab 6: 实测加速
    • 目的
    • UI 组件与参数影响
    • 输出图解读
    • 为什么重要
  • Tab 7: Verify 判据
    • 目的
    • UI 组件与参数影响
    • 输出图解读
    • 调节建议
    • 为什么重要
  • Tab 8: LK 损失
    • 目的
    • UI 组件与参数影响
    • 输出图解读
    • 为什么重要
  • Tab 9: Draft 链路
    • 目的
    • UI 组件与参数影响
    • 输出图解读
    • 调节建议
    • 为什么重要
  • Tab 10: Cache 回滚
    • 目的
    • UI 组件与参数影响
    • 输出图解读
    • 为什么重要
  • Tab 11: 结构与参数
    • 目的
    • UI 组件与参数影响
    • 输出图解读
    • 为什么重要
  • Tab 12: loss_weight 扫描
    • 目的
    • UI 组件与参数影响
    • 输出图解读
    • 为什么重要
  • Tab 13: 加速比热力图
    • 目的
    • UI 组件与参数影响
    • 输出图解读
    • 为什么重要
  • 0x03 验证策略总览
  • 0xFF 参考

0x00 概述

本文章是MTP (Multi‑Token Prediction) / EAGLE‑3(投机解码草稿)的完整交互式演示,13 个 Tab 覆盖 MTP 偏移对齐、联合损失隐式正则化、特征融合 [θ 0 I] 初始化、加速比理论与实测、lossless verify 判据、LK 损失、Draft 自回归链路、Cache 回滚正确性、参数量分解。全部 CPU 实时运行,复用 mtp_layer.py、eagle3.py、speculative.py 真实源码算子。

注:

  • 项目https://github.com/RossiLH/Model-Viz 和系列博客是我的一个尝试,也是我学习的过程。不确定是否满足读者的需求,我自己会反思改进,也希望大家提出宝贵意见。

  • 涉及 KIMI K3,DeepSeek V4,PI0.5,PI0.7 等模型。后续可能会跟踪新模型。

  • 全 CPU 复刻,不涉及 GPU,也不涉及大规模训练(这是另外一个庞杂深邃的领域)和硬件。

  • 模型的组件尽量是原始大模型的缩小版,如果组件没有开源版本,则用近似组件替代。

  • 会解释每个组件在解决一个什么问题、这个问题难在哪、为什么只能这么解、解法的原理是什么,以及组件之间如何咬合成一个整体。重点不是记名词,而是理解一条主线。

  • 每个主要组件都有可直接运行的 Gradio demo——无需 GPU。另有若干可视化脚本(plot_*.py),可生成静态图。

  • 所有文件行号基于本地源码快照;源码后续变化时,行号可能移动,但函数名和调用关系仍可作为定位入口。

  • 为了保证每个文章可以尽量独立成文,所以有些内容会在不同文章中都存在,可能在系列层面上存在冗余,还请大家理解。

0x01 核心数学

MTP 让主模型每个位置同时预测 x[t+1] (LM Head) 和 x[t+2] (MTP Head),一次训练步得到两份梯度。预训练完成后,MTP 层微调成 EAGLE‑3 草稿模型,配合投机解码推理加速。

1.1 MTP 层前向(§4.1.4)

MTP 层读 backbone 隐藏态 h[t] 和下一步嵌入 emb(x[t+1]),预测 x[t+2]:

    h_fused = proj (cat ([ h_norm (h [t]), e_norm (emb (x [t+1])) ], dim=-1) )   # (B, T‑1, C)


    h_mtp   = h_fused + block.attn (h_fused) + block.ffn (h_fused)           # 骨架块


    output  = norm (h_mtp)                                                  # (B, T‑1, C)


    logits  = lm_head (output)                                               # (B, T‑1, V) → 预测 x [t+2]

    其中:

    • h_norm, e_norm: 各自 RMSNorm,先归一化再拼接,避免两个来源的尺度互相干扰

    • proj: 无 bias 线性投影 (2C → C),减少参数量、避免偏移

    • block: 复用主干 Kimi3Block(KDA 或 MLA 注意力 + MoE FFN)

    • lm_head: 与主模型共享词表头

    偏移语义: MTP logits 第 t 位预测 x[t+2](比主模型快一拍),训练时用 labels[:, 2:] 对齐。

    1.2 联合损失(Table 1)

      loss = lm_loss + λ・mtp_loss


      lm_loss  = CE (logits_lm, labels [:, 1:])    # 主模型预测 x [t+1]


      mtp_loss = CE (logits_mtp, labels [:, 2:])   # MTP 预测 x [t+2]
      • λ (loss_weight): 默认 0.3 (kimi3‑master)

      • 隐式正则化: 联合目标让 MTP 梯度回传到骨干,迫使 h[t] 同时对 x[t+1] 和 x[t+2] 有信息量,等价于对骨干表示做隐式正则化

      1.3 EAGLE‑3 特征融合(§4.1.4)

      推理阶段 MTP 层微调成草稿模型,输入从"骨干隐藏态"改为"低/中/高三层特征融合":

        W_E3 初始 = [θ 0 I]    # (C, 3C), 最后一列单位阵,其余零


        fuse ([f_low, f_mid, f_high]) = W_E3・cat ([f_low, f_mid, f_high])


        = f_high          # 初始时
        • [θ 0 I] 的直觉: 初始融合输出完全等于高层特征 h_h—正是 MTP 预训练时的输入;模型从"只信高层"逐步学到"吸收低/中层特征"。

        • 特征取自 AttnRes 第 1、4、最后块的输出 (feature_blocks=(0, 3, -1))

        • 无 bias: 与 MTP proj 一致,减少参数

        1.4 LK 损失 (Eq. 16)

        投机解码的加速比正比于逐 token 接受率 sum_x min(p(x), q(x))。K3 直接优化这个量:

          L_LK = −log sum_x min (p (x), q (x))    # 温度 1, 无 ground‑truth CE 项
          • 为什么不用 KL: 减法 KL 是接受率的上界代理,但容量受限的草稿模型不能保证最大化 KL 就最大化接受率;LK 直接优化真正决定加速比的量

          • p == q 时 L_LK = θ(完美草稿)

          • L_LK 随分布疏离单调增大

          1.5 投机解码加速比

          lossless 投机采样下,每个目标前向的期望 token 数:

            E [tokens/target] = (1 − r^(L+1)) / (1 − r)


            r = sum_x min (p (x), q (x))     # 逐 token 接受率


            L = 草稿长度 (draft_len)
            • r = 1(完美草稿): E = L + 1(一次前向产出 L+1 个 token)

            • r = 0(全拒绝): E = 1(退化为普通自回归)

            • 关键洞察: 加速比同时依赖 r 和 L;r < 0.5 时 L 再长收益也有限

            1.6 Lossless Verify 判据

            逐位置接受/拒绝,一旦拒绝立即截断:

              对每个草稿位置 i:


                  采 u ~ U (0, 1)


                  若 u <= p_i (c_i) /q_i (c_i)  → 接受 c_i, 继续看 i+1


                  否则                         → 拒绝,从 norm (max (p_i − q_i, 0)) 重采 1 个 bonus token


              每轮产出 = 接受前缀长度 + 1 (bonus token)
              • lossless 性质: 接受后输出分布与目标模型精确一致(无质量损失)

              • greedy 模式: 确定性路径,草稿 token == 目标 argmax 才接受(测试用)

              1.7 Cache 快照‑回滚

              投机解码部分接受时,被拒绝的后缀对应的 cache 状态必须丢弃:

                每轮开始前: snap = snapshot_caches (caches)      # 深拷贝


                逐草稿位置:增量前向打分(cache 被推进)


                verify 后:   restore_caches (caches, snap)       # 回滚到快照


                重放已接受前缀 + bonus token → cache 停在正确位置
                • KDA cache: 克隆 state + 三个卷积窗口

                • MLA cache: 克隆 kv_latent + length

                • 正确性保证: Recompute(全序列重跑)与 CacheRollback(增量+回滚)在固定 seed 下产出逐 token 一致

                1.8 KimiDeltaAttention 完整层

                  q, k, v = ShortConv (W_{q/k/v}・x)


                  q = L2Norm (SiLU (q)),  k = L2Norm (SiLU (k)),  v = SiLU (v)


                  g = g_min・sigmoid (exp (A_h)・(W_α^up・W_α^down・x + b_α))   # 有界衰减


                  β = sigmoid (W_β・x)                                            # 写入强度


                  (o, S) = kda_recurrent /kda_chunkwise/kda_step               # 核心递推


                  output = W_o・[sigmoid (W_g・x) ⊙ HeadRMSNorm (o)]              # 输出门

                  关键洞察: MTP 预训练是 "一次前向,两份监督"— 骨干 h [t] 同时服务 LM Head 和 MTP Head,等价于对骨干做隐式正则化。EAGLE‑3 推理是

                  "一次前向,L+1 份产出"— 草稿模型用 L 步起草,目标模型一次 verify,接受前缀 + bonus token 一起写入。


                  0x02 设计思路

                  2.1. 零重复代码原则

                  Gradio demo 不重复实现任何可视化逻辑,全部从已有脚本导入:

                  Tab

                  函数来源

                  覆盖模块

                  1. 架构总览

                  _mtp_demo_figs.fig_architecture_overview

                  (内联示意图)

                  MTP + EAGLE-3 全链路

                  2. 偏移对齐

                  plot_mtp.fig_mtp_offset

                  (复用)

                  mtp_layer.py

                  3. E1 联合损失

                  plot_mtp.fig_e1_joint_loss

                  (复用)

                  mtp_layer.py + model.py

                  4. E2 融合初值

                  plot_mtp.fig_e2_init_curve

                  (复用)

                  eagle3.py / FeatureFusion

                  5. E3 加速比理论

                  plot_mtp.fig_e3_speedup

                  (复用)

                  eagle3.py / speedup_from_acceptance

                  6. E5 实测加速

                  eagle3_demo.run_spec_decode

                   + fig_measured_speedup(复用)

                  speculative.py / SpeculativeDecoder

                  7. Verify 判据

                  _mtp_demo_figs.fig_verify_demo

                  (内联,调用 verify_tokens)

                  speculative.py / verify_tokens

                  8. LK 损失

                  _mtp_demo_figs.fig_lk_loss_demo

                  (内联,调用 lk_loss)

                  eagle3.py / lk_loss

                  9. Draft 链路

                  _mtp_demo_figs.fig_draft_pipeline_demo

                  (内联,调用 Eagle3Draft)

                  eagle3.py / Eagle3Draft

                  10. Cache 回滚

                  _mtp_demo_figs.fig_cache_rollback_demo

                  (内联,调用 snapshot/restore)

                  speculative.py / kda.py / mla.py

                  11. 结构与参数

                  _mtp_demo_figs.fig_mtp_structure_and_params

                  (内联)

                  mtp_layer.py / MTPLayer

                  12. loss_weight 扫描

                  _mtp_demo_figs.fig_loss_weight_sweep

                  (内联,复用 discussion 函数)

                  discussion.py + mtp_layer.py

                  13. 加速比热力图

                  _mtp_demo_figs.fig_acceptance_heatmap

                  (内联)

                  eagle3.py / speedup_from_acceptance

                  2.2 各 Tab 说明

                  1. 架构总览

                  MTP 预训练 + EAGLE-3 投机解码的整体架构示意:Backbone → h[t] → LM Head (x[t+1]),同时 h[t] + emb(x[t+1]) → MTP Layer → LM Head (x[t+2]);推理阶段 MTP 微调为 EAGLE-3 Draft,配合 FeatureFusion [0 0 I] + 投机解码做加速。

                  2. 偏移对齐

                  可视化 MTP 的 token 流:x₁ x₂ x₃ x₄ x₅ x₆,箭头标注 LM 预测 x[t+1]、MTP 预测 x[t+2]。

                  3. E1 联合损失

                  可调 loss_weight 和训练步数,实时对比"纯 LM"与"LM + MTP"的 lm_loss 收敛曲线。核心结论:联合目标对骨干表示做隐式正则化。

                  4. E2 融合初值

                  对比 EAGLE-3 特征融合三种初始化:[0 0 I](官方)、随机、全零。[0 0 I] 起步 loss 为 0,从不扰动 MTP 预训练起点。

                  5. E3 加速比理论

                  可调接受率范围、高亮 r 和 L,画出 4 条理论曲线(L=1/2/4/7)。公式:E[tokens/target] = (1 - r^(L+1)) / (1 - r)。

                  6. E5 实测加速

                  在 CPU 小模型上跑真实 SpeculativeDecoder,输出:

                  • Recompute vs Rollback 两路径是否逐 token 一致(回滚正确性证明)

                  • greedy / lossless 两条路径的实测接受率与 tokens/forward

                  • 实测点叠在理论曲线上

                  运行较慢(真实模型前向)。

                  7. Verify 判据

                  交互式演示 verify_tokens 纯函数:调词表大小、草稿长度、目标/草稿分布偏向、判据模式(greedy / lossless)、随机种子。上图显示各位置的 p(c) vs q(c),下图显示逐位置接受比(绿色接受、红色拒绝)+ bonus token 来源。

                  8. LK 损失

                  展示 LK 损失 = -log(sum min(p,q)) 随分布疏离的单调关系。左图:疏离步数 vs LK loss;右图:接受率 vs LK loss。核心:LK loss 直接优化接受率,而非 KL 代理。

                  9. Draft 链路

                  EAGLE-3 Draft 自回归起草的完整链路:特征融合 → MTP 层 → LM Head → 采样 → 嵌入 → 下一步。上图:每步 top-k 概率热力图;下图:分布熵随步数变化(反映自回归漂移)。

                  10. Cache 回滚

                  验证 KDA / MLA 两种 cache 的 snapshot → 污染 → restore 流程。输出数值对比表格,证明回滚后与快照完全一致(max|diff| < 1e-6)。这是投机解码 cache rollback 后端正确性的基础。

                  11. 结构与参数

                  MTP 层结构图(h_norm / e_norm → proj → block → norm)+ 参数量分解(fusion+3norm vs block)。对比 mla / kda 两种注意力类型的 MTP 层参数量。

                  12. loss_weight 扫描

                  扫描 MTP loss_weight(λ)从 0 到 2.0,画出最终 lm_loss 和 total_loss 曲线。展示 λ 对联合训练的影响:过小则 MTP 正则弱,过大则总损失噪声增加。

                  13. 加速比热力图

                  接受率 r × 草稿长度 L 的二维热力图,白色等高线标记 1.5/2.0/3.0/5.0/8.0 tokens/forward。直观展示加速比的联合分布。

                  2.3 运行方式

                    python experiments\models\llm\kimi_k3\mtp\gradio_mtp_demo.py

                    启动后访问 http://localhost:7860,13 个 Tab 水平排列,点击切换。

                    Tab 1: 架构总览

                    目的

                    展示 MTP 预训练 + EAGLE‑3 投机解码的全链路架构:训练阶段一次前向同时监督 x[t+1] 和 x[t+2],推理阶段 MTP 微调成草稿模型配合投机解码加速。

                    UI 组件与参数影响

                    无参数,点击按钮直接运行。

                    输出图解读

                    tab-1
                    tab-1

                    单图(架构示意图):

                    上排(预训练阶段):

                    • 蓝色框:Backbone (KDA+MLA+MoE) → h[t] 隐藏态

                    • 黄色框:LM Head → x[t+1] 预测

                    • 绿色框:MTP Layer (fusion+block) → LM Head(共享)→ x[t+2] 预测

                    • 绿色框:emb(x[t+1]) 作为 MTP 的额外输入

                    • 黄色标注框:"一次训练前向同时监督 2 个 token"

                    下排(推理阶段):

                    • 紫色框:EAGLE‑3 Draft(微调自 MTP)

                    • 浅紫色框:FeatureFusion [0 0 I]

                    • 红色框:投机解码 verify+回滚

                    • 绿色框:加速比 E[tokens/target]

                    你该看什么: 预训练阶段 MTP 与 LM 共享骨干和 lm_head;推理阶段草稿模型从 MTP 微调而来,特征融合是唯一新增参数

                    为什么重要

                    这是理解 MTP/EAGLE‑3 全链路的入口图。训练和推理共享 MTP 层权重,但输入来源不同(训练时用骨干隐藏态,推理时用特征融合输出)。


                    Tab 2: 偏移对齐

                    目的

                    可视化 MTP 的 token 流偏移语义:主模型预测 x[t+1], MTP 额外预测 x[t+2](§4.1.4)。

                    UI 组件与参数影响

                    无参数,点击按钮直接运行。

                    输出图解读

                    tab-2
                    tab-2

                    单图(偏移示意图):

                    • 展示 token 序列 x₁ x₂ x₃ x₄ x₅ x₆

                    • 箭头标注:LM 预测 x[t+1](偏移 1),MTP 预测 x[t+2](偏移 2)

                    • 你该看什么:MTP 比 LM 快一拍—看到 emb(x[t+1]) 就能预测 x[t+2]

                    为什么重要

                    偏移对齐是 MTP 训练正确性的基础:mtp_loss 必须用 labels[:, 2:] 对齐(而非 labels[:, 1:]),否则 MTP 学到的是重复 LM 的任务而非额外预测。

                    Tab 3: 联合损失

                    目的

                    对比 "纯 LM"与"LM + MTP"联合训练的 lm_loss 收敛曲线,验证联合目标对骨干表示做隐式正则化(§4.1.4,Table 1)。

                    UI 组件与参数影响

                    参数

                    范围

                    默认

                    调节效果

                    MTP loss_weight

                    0.1‑2.0

                    0.5

                    MTP 损失权重 λ。增大 → MTP 正则化更强,但总损失噪声增加

                    训练步数

                    10‑80

                    40

                    训练步数。增大 → 收敛更充分,差异更明显

                    输出图解读

                    tab-3
                    tab-3

                    单图(训练曲线):

                    • 两条折线:纯 LM(无 MTP) vsLM + MTP 的 lm_loss 收敛轨迹

                    • 你该看什么:联合训练的 lm_loss 最终更低—MTP 梯度回传对骨干做隐式正则化

                    调节建议

                    • 想看正则化效果更明显 → 增大训练步数到 60+

                    • 想看 λ 过大的副作用 → 增大 loss_weight 到 1.5+

                    为什么重要

                    MTP 的训练动机不是"让 MTP 头预测更准",而是"通过多目标联合训练改善骨干表示"。此 Tab 量化展示联合训练对 lm_loss 的改善。

                    Tab 4: 融合初值

                    目的

                    对比 EAGLE‑3 特征融合三种初始化:[θ θ I](官方)、随机、全零。验证 [θ θ I] 初始不扰动 MTP 预训练起点(§4.1.4)。

                    UI 组件与参数影响

                    参数

                    范围

                    默认

                    调节效果

                    特征维度

                    16‑128

                    32

                    融合投影的维度 C。增大 → 参数更多,收敛更慢

                    优化步数

                    20‑200

                    60

                    训练步数。增大 → 三条曲线差异更明显

                    输出图解读

                    tab-4
                    tab-4

                    单图(融合误差曲线,semilogy):

                    • 三条折线:[θ θ I](蓝色,起步 loss ≈ 0 → 显示为 eps=1e‑8)、随机(红色,起步 loss 高)、全零(紫色,起步 loss 最高)

                    • 蓝色箭头标注:"[θ θ I] 起步 loss = θ (≡高层特征,零扰动) "

                    • 你该看什么:[θ θ I] 初始融合输出 ≡ 高层特征,起步误差为 θ,从不扰动 MTP 预训练起点;随机/全零起步有初始噪声,收敛更慢

                    为什么重要

                    EAGLE‑3 从 MTP 预训练权重微调而来。如果融合初值引入大幅扰动(随机/全零),微调起步就偏离 MTP 预训练的最优点,需要更多步才能恢复。[θ θ I] 保证平滑过渡。

                    Tab 5: 加速比理论

                    目的

                    画出投机解码加速比的理论曲线 E[tokens/target] = (1 − r^(L+1)) / (1 − r),展示接受率 r 和草稿长度 L 对加速比的联合影响。

                    UI 组件与参数影响

                    参数

                    范围

                    默认

                    调节效果

                    接受率范围左

                    0.01‑0.5

                    0.1

                    X 轴左端。减小 → 看到更低的接受率区间

                    接受率范围右

                    0.5‑0.99

                    0.98

                    X 轴右端。增大 → 看到接近 1 的接受率

                    高亮接受率 r

                    0.1‑0.99

                    0.8

                    十字线竖线位置。增大 → 高亮更高接受率

                    高亮草稿长度 L

                    1‑10

                    7

                    对应理论曲线。增大 → 高亮更长草稿

                    输出图解读

                    tab-5
                    tab-5

                    单图(理论曲线):

                    • 4 条折线:L=1,2,4,7 的加速比随接受率 r 变化

                    • 黄色十字虚线:竖线 = 高亮接受率 r,横线 = 对应 tokens/step 值

                    • 黄色星号:十字线交点,带白边框

                    • 标注框:r=X, L=Y → Z tokens/step

                    你该看什么:r < 0.5 时所有曲线接近 1(几乎无加速);r > 0.8 时 L=7 可达 5x+ 加速

                    调节建议

                    • 想看低接受率区间 → 减小接受率范围左到 0.01

                    • 想看高加速比 → 增大高亮接受率 r 到 0.95+

                    为什么重要

                    这是投机解码的核心公式,直接决定工程上选择多大的草稿长度 L 以及需要多高的接受率 r 才有收益。

                    Tab 6: 实测加速

                    目的

                    在 CPU 小模型上跑真实 SpeculativeDecoder,验证 Recompute 与 CacheRollback 两条路径逐 token 一致,并将实测接受率叠在理论曲线上。

                    UI 组件与参数影响

                    参数

                    范围

                    默认

                    调节效果

                    随机种子

                    0‑9999

                    1234

                    随机种子,影响草稿/目标分布

                    prompt 长度

                    4‑16

                    8

                    输入 prompt 的 token 数

                    max_new_tokens

                    8‑48

                    24

                    最大生成 token 数。增大 → 统计更稳定但更慢

                    draft_len

                    1‑7

                    3

                    草稿长度 L。增大 → 每轮可能产出更多 token

                    输出图解读

                    tab-6
                    tab-6

                    单图(实测点 vs 理论曲线):

                    • 理论曲线(4 条彩色折线,legend 标注 "理论 L=X")

                    • 红色星号(白边框):实测点,legend 标注 "实测 L=X (r=X.XXX) "

                    • 红色箭头标注框:tokens/forward = X.XX

                    • 你该看什么:实测 tokens/forward 是否落在对应 L 的理论曲线上

                    为什么重要

                    理论公式假设接受率 r 恒定,实测验证真实场景下接受率是否稳定、加速比是否与理论吻合。Recompute vs Rollback 一致性是 cache 回滚实现正确性的数值证明。

                    Tab 7: Verify 判据

                    目的

                    交互式演示 verify_tokens 纯函数:逐位置接受/拒绝判据、bonus token 重采(§4.1.4)。

                    UI 组件与参数影响

                    参数

                    范围

                    默认

                    调节效果

                    词表大小 V

                    4‑64

                    16

                    词表大小。增大 → 分布更稀疏,接受率更低

                    草稿长度 L

                    1‑10

                    5

                    草稿位置数。增大 → 更多位置可能被拒

                    目标偏向 token 0 强度

                    0.0‑10.0

                    3.0

                    目标偏向 token 0 的 logits 偏移。增大 → 目标更确定

                    草稿偏向 token V‑1 强度

                    0.0‑10.0

                    0.5

                    (原3.0)

                    草稿分布偏向 token V‑1 的 logits 偏移。增大 → 草稿与目标越不一致

                    判据模式

                    greedy / lossless

                    lossless

                    greedy: 确定性匹配;lossless: 随机接受

                    随机种子

                    0‑999

                    42

                    随机种子(lossless 模式下可复现)

                    输出图解读

                    tab-7
                    tab-7

                    2×1 布局:

                    上图:各位置目标 p(c) vs 草稿 q(c),c = 草稿提出的 token

                    • 蓝色柱:目标分布 p 在草稿提出 token c 上的概率(不是任意 token,而是 draft 实际提出的那个)

                    • 橙色柱:草稿分布 q 在同一 token c 上的概率

                    • X 轴:每个位置下方标注 c=19、c=15 等,告诉你 draft 在该位置提出了哪个 token

                    你该看什么:

                    • 蓝橙差距越大(橙 >> 蓝),ratio = p(c)/q(c) 越小 → 越可能被拒绝

                    • 蓝橙接近(蓝 ≈ 橙),ratio 接近 1 → 容易被接受

                    • 蓝色越高于橙色(蓝 >> 橙),ratio 大于 1 → 容易被接受

                    • pos 0-2 橙色远高于蓝色 → ratio ≈ 0.03-0.07 → 必拒

                    • pos 3-4 蓝橙几乎相等 → ratio ≈ 0.92, 0.56 → 容易接受

                    下图:逐位置接受比 p(c)/q(c)

                    • 绿色柱:被接受位置(在前缀内)

                    • 红色柱:被拒绝位置(第一个拒绝及之后)

                    • 灰色虚线:ratio=1 上限

                    你该看什么:ratio 越接近 1 越容易被接受;第一个红色柱就是拒绝截断点。注意:ratio 高不一定接受——因为判据是 u ~ Uniform(0,1) ≤ ratio,ratio=0.92 仍有 8% 概率被拒绝。

                    调节建议

                    • 想看全接受 → 设目标偏向=0,草稿偏向=0(两分布接近)

                    • 想看全拒绝 → 增大草稿偏向到 10(草稿与目标完全不一致)

                    • 想看 greedy 确定性 → 切换模式为 greedy

                    为什么重要

                    verify_tokens 是投机解码的核心判据—它决定每轮接受多少草稿 token、重采哪个 bonus token。lossless 性质保证接受后输出分布与目标模型精确一致。

                    Tab 8: LK 损失

                    目的

                    展示 LK 损失 = −log(sum min(p,q)) 随分布疏离的单调关系,验证 LK 直接优化接受率而非 KL 代理(Eq. 16)。

                    UI 组件与参数影响

                    参数

                    范围

                    默认

                    调节效果

                    词表大小

                    8‑128

                    32

                    词表大小。增大 → 分布更稀疏,LK 损失范围更大

                    疏离步数

                    10‑200

                    50

                    draft 从 target 渐变到均匀的步数。增大 → 曲线更平滑

                    最终疏离程度

                    0.5‑2.0

                    1.0

                    最终插值系数。增大 → draft 更远离 target

                    输出图解读

                    tab-8
                    tab-8

                    1×2 布局:

                    左图:LK 损失随分布疏离单调增大

                    • 红色折线:X 轴 = 疏离程度(draft 从 target 走向均匀),Y 轴 = LK 损失

                    • 你该看什么:LK 损失随疏离单调增大—越不像目标,损失越高

                    右图:接受率 vs LK 损失

                    • 蓝色折线:X 轴 = 接受率 r = sum min(p,q),Y 轴 = LK 损失

                    • 标题:LK 损失 = −log(接受率)

                    • 你该看什么:LK 损失是接受率的负对数—最小化 LK 等价于最大化接受率

                    为什么重要

                    传统做法用 KL 散度训练草稿模型,KL 是接受率的上界代理,容量受限时不保证最大化接受率。LK 直接优化真正决定加速比的量,是 K3 选择 LK 而非 KL 的根本原因。

                    Tab 9: Draft 链路

                    目的

                    展示 EAGLE‑3 Draft 自回归起草的完整链路:特征融合 → MTP 层 → LM Head → 采样 → 嵌入 → 下一步,观察分布随步数的漂移。

                    UI 组件与参数影响

                    参数

                    范围

                    默认

                    调节效果

                    随机种子

                    0‑999

                    42

                    随机种子

                    draft 步数

                    1‑12

                    5

                    草稿自回归步数。增大 → 漂移更明显

                    MTP 注意力类型

                    mla / kda

                    mla

                    骨架块用 MLA 还是 KDA 注意力

                    采样温度0.0‑2.01.00=greedy(argmax),1=标准采样,>1 更随机,<1 更确定

                    输出图解读

                    tab-9
                    tab-9

                    2×1 布局:

                    上图:Top‑k 概率热力图

                    • viridis 色图,每列 = 一个 draft step,每行 = top‑k rank

                    • 你该看什么:首步分布集中(top‑1 概率高),后续步分布逐渐变平(自回归漂移)

                    下图:分布熵随步数变化

                    • 橙色折线:X 轴 = draft step,Y 轴 = 分布熵(nats)

                    • 你该看什么:熵随步数增大—草稿每步吃自己前一步的输出,误差累积导致分布变平

                    调节建议

                    • 想看退化(全相同 token)→ 设 temperature=0

                    • 想看多样分布演化 → 设 temperature=1.0(默认)

                    • 想看更随机 → 设 temperature=1.5+

                    为什么重要

                    草稿自回归的漂移是投机解码的核心瓶颈—步数越多,草稿分布越偏离目标分布,接受率越低。此 Tab 可视化漂移过程,帮助理解为什么 L=7 是 K3 的选择(更长收益递减)。temperature 参数帮助理解采样策略对分布多样性的影响。

                    Tab 10: Cache 回滚

                    目的

                    验证 KDA / MLA 两种 cache 的 snapshot → 污染 → restore 流程,证明回滚后与快照完全一致(max|diff| < 1e‑6)。

                    UI 组件与参数影响

                    参数

                    范围

                    默认

                    调节效果

                    随机种子

                    0‑999

                    0

                    随机种子

                    Cache 类型

                    KDA / MLA

                    KDA

                    选择验证哪种 cache 的回滚

                    输出图解读

                    tab-10
                    tab-10

                    单图(数值对比表):

                    • 文字表格展示:快照前数值、污染后数值、恢复后数值、max|diff|

                    • 绿色标注"是":恢复成功

                    • 你该看什么:恢复后数值与快照完全一致,max|diff| < 1e‑6

                    为什么重要

                    投机解码部分接受时,被拒绝的后缀对应的 cache 状态必须丢弃。如果回滚不正确,后续生成会读到被污染的 cache,导致输出偏离目标模型。此 Tab 是 cache rollback 实现正确性的基础验证。

                    Tab 11: 结构与参数

                    目的

                    展示 MTP 层结构(h_norm / e_norm → proj → block → norm)和参数量分解,对比 mla / kda 两种注意力类型。

                    UI 组件与参数影响

                    参数

                    范围

                    默认

                    调节效果

                    MTP 注意力类型

                    mla / kda

                    mla

                    骨架块用 MLA 还是 KDA 注意力

                    输出图解读

                    tab-11
                    tab-11

                    1×2 布局:

                    左图:MTP 层结构示意

                    • 蓝色框:h_norm(RMSNorm)、e_norm(RMSNorm)、norm(RMSNorm)

                    • 绿色框:proj(2d→d,无 bias)

                    • 紫色框:Kimi3Block(mla/kda attn + MoE)

                    • 箭头:h[t] + emb(x[t+1]) → fusion → block → norm → h_mtp → x[t+2]

                    右图:参数量分解

                    • 绿色条:fusion + 3×norm 参数量(= 2d² + 3d)

                    • 紫色条:block(attn+ffn)参数量

                    • 标题显示总参数量

                    • 你该看什么:proj 占大头(2d²),block 参数取决于注意力类型

                    为什么重要

                    MTP 层的参数效率直接影响训练和推理开销。proj 无 bias 是 K3 的设计选择—减少参数量、避免偏移。mtp_param_count 公式(2d²+3d)是 proj + 3 个 RMSNorm 的精确下界。

                    Tab 12: loss_weight 扫描

                    目的

                    扫描 MTP loss_weight(λ)从 0 到 2.0,展示 λ 对联合训练的影响:过小则 MTP 正则弱,过大则总损失噪声增加。

                    UI 组件与参数影响

                    参数

                    范围

                    默认

                    调节效果

                    训练步数

                    10‑100

                    30

                    每个权重值的训练步数。增大 → 收敛更充分但运行更慢

                    输出图解读

                    tab-12
                    tab-12

                    单图(loss_weight 扫描):

                    • 绿色圆点线:最终 lm_loss 随 λ 变化

                    • 红色方块线:最终 total_loss 随 λ 变化

                    • 黄色虚线:默认 loss_weight=0.3

                    • 你该看什么:lm_loss 在 λ≈0.1‑0.5 左右最低(MTP 正则化效果最佳);λ 过大时 total_loss 上升(MTP 损失噪声主导)

                    为什么重要

                    λ 的选择是 MTP 训练的关键超参—太小则 MTP 正则化不足,太大则 MTP 损失噪声干扰骨干训练。K3 选择 0.3 是在正则化效果和训练稳定性之间的平衡。

                    Tab 13: 加速比热力图

                    目的

                    接受率 r × 草稿长度 L 的二维热力图,直观展示加速比的联合分布。

                    UI 组件与参数影响

                    无参数,点击按钮直接运行。

                    输出图解读

                    tab-13
                    tab-13

                    单图(热力图):

                    • viridis 色图:X 轴 = 接受率 r(0.1‑0.95),Y 轴 = 草稿长度 L(1‑10)

                    • 颜色值 = E[tokens/target] = (1 − r^(L+1)) / (1 − r)

                    • 白色等高线:标记 1.5 / 2.0 / 3.0 / 5.0 / 8.0 tokens/forward

                    • 你该看什么:左下角(低 r、短 L)接近 1(无加速);右上角(高 r、长 L)可达 8x+ 加速;r < 0.5 时 L 再长收益也有限

                    为什么重要

                    此热力图是 Tab 5 理论曲线的二维视图,帮助工程决策:给定实测接受率 r,选择多大的 L 能达到目标加速比。等高线直接回答"需要 r≥多少、L≥多少才能达到 3x 加速"。

                    0x03 验证策略总览

                    Tab

                    测试函数

                    验证点

                    通过标准

                    2 偏移对齐

                    test_mtp_loss_is_next_next_token

                    MTP logits 第 t 位对应 labels[:, t+2]

                    loss 组合正确

                    3 E1 联合损失

                    test_mtp_loss_composition_weight

                    loss = lm + w·mtp

                    allclose(atol=1e‑4)

                    4 E2 融合初值

                    test_eagle3_fusion_init_is_identity_on_high

                    [θ θ I] 初始融合 ≡ 高层特征

                    torch.allclose

                    5 E3 加速比

                    test_eagle3_speedup_formula

                    r=1→L+1, r=0→1, 通用公式

                    abs < 1e‑9

                    7 Verify 判据

                    test_verify_all_accept_when_same_dist

                    p==q 时全接受

                    n_accepted == L

                    7 Verify 判据

                    test_verify_rejects_and_truncates

                    草稿错时被截断

                    n_accepted == 0

                    7 Verify 判据

                    test_verify_bonus_from_residual

                    bonus 从残差重采

                    bonus == target argmax

                    8 LK 损失

                    test_eagle3_lk_loss_and_acceptance

                    p=>q→loss=0, 非负

                    allclose(atol=1e‑5)

                    9 Draft 链路

                    test_eagle3_draft_autoregressive

                    draft 自回归形状正确

                    shape == (B, n_steps, V)

                    10 Cache 回滚

                    test_cache_snapshot_restore_kda

                    KDA snapshot›restore 一致

                    torch.equal

                    10 Cache 回滚

                    test_cache_snapshot_restore_mla

                    MLA snapshot›restore 一致

                    kv_latent equal, length equal

                    11 结构与参数

                    test_mtp_layer_structure

                    h_norm/e_norm/proj(block)/norm 结构完整

                    isinstance 检查

                    11 结构与参数

                    test_param_count_is_exactmtp_param_count == 2d²+3d

                    公式吻合

                    6 E5 实测

                    test_recompute_and_rollback_agree

                    两条路径逐 token 一致

                    torch.equal


                    TransFormer-封面
                    TransFormer-封面

                    0xFF 参考

                    阅读原文

                    跳转微信打开

                    OpenAI 未竟的星际之门,为何由一家中国公司反超?

                    2026年11月17日 19:30

                    原创 马诗晴 2026-11-17 19:30 广东

                    中国版“星际之门”,代际超越美国方案。

                        作者丨马诗晴

                        编辑丨田   哲

                                                                                                                           

                    在美国,AI数据中心已成为众矢之的。

                    俄亥俄州普通家庭电费过去一年上涨约 15%,十年累计涨幅超 66%,民众叫苦不迭;还有居民形容数据中心的噪音:“就像一列货运火车一直朝你开过来”。在刚结束的美国中期选举中,AI数据中心一度成为政客竞相表态、笼络人心的焦点议题。

                    事实上,早在去年一月,特朗普就亲自为史上最大AI基建项目“星际之门”站台,该项目集齐了 OpenAI、Oracle 等硅谷巨头千亿美元投资。然而时至今日,除首个阿比林园区外,其余项目仍面临考验:主导权扯皮、新项目选址未决,电网接入更是迟迟批不下来。

                    中国数据中心走出了另一条路:在地球另一边的乌兰察布,中国新能源科技企业远景建设的超级算力枢纽——乌兰察布星河基地,今年8月已经投运。其整体规划 3GW ,首期 120MW 仅用一年建成,成本却仅为美国的五分之一。更重要的是,这里没有抗议,因为远景极好地平衡了当地环境、客户需求与电力供应。

                    今年11月,全球知名半导体分析机构 SemiAnalysis 实地探访后,直接以《We Visited China’s Stargate in Inner Mongolia》为题发文赞叹:远景星河基地的建设速度、规模、超低成本和深度垂直整合,都令我们叹为观止。

                    实际上,远景在乌兰察布的星河基地,已经超越了美国的“星际之门”。

                    星河基地重塑了AI数据中心:它改变的不只是造价,还有 AI 基础设施的建设标准。当电力俨然成为AI发展的燃料,远景正凭借AIDC电力系统、绿电直供与 800V 高压直流供电技术形成的合力,成为中美 AI 竞赛中一张不容忽视的底牌。

                    01

                      远景AIDC电力系统,

                    让中国版“星际之门”成为现实

                    星际之门和星河基地两座数据中心,同样作为AI基建,二者有着相似的出身及背景。

                    星际之门阿比林园区开发商 Crusoe 从能源行业起家,本身具备电力整合与供应能力,它把基地租给 Oracle,再由其为 OpenAI 运营;乌兰察布的星河基地由远景科技集团开发,自建风机、储能,同样手握电力供给能力。

                    然而,两者的落地轨迹截然不同。

                    星际之门本质上是资本、能源与科技巨头的商业联合体,多方博弈拉低推进效率。今年上半年,Oracle 与 OpenAI 谈判破裂,终止了得州阿比林园区的额外扩建。即便在已推进的阿比林节点,项目仍依赖公共电网和燃气轮机,受制于电力审批与多主体协同,周期漫长。

                    反观星河基地,推进要利落得多。这座规划容量3GW的算力底座建成后,可承载百万卡并行、百万P算力,算力承购协议已排期至2030年。

                    星河基地之所以能跑出加速度,关键在于远景具备极强的垂直整合的AIDC电力系统能力,自己掌握能源侧、园区机房侧到控制交付侧的核心环节,再由系统集成把这些环节统一到同一个算力需求上。

                    星河基地马路对面就是远景自己的风电叶片厂,远景自建风电场通过专用线路将绿电直供园区,把跨主体的审批与供应链流转压到了最短。

                    预制式变电站也是同一个逻辑,它彻底跳出了传统变电站现场土建、逐一接线的繁琐模式:设计由远景主导,在工厂端便完成变压器、储能与 800V 系统的预配置与联调,运到现场只需模块化拼装。传统变电站建设要半年,这里不到三个月。

                    这套AIDC电力系统打破了“先盖机房、再找电网买电”的割裂模式。从自建风电、专用输电,到自产储能、自研 800V 直流与预制变电站,“源—网—荷—储”被拉成一条全自控链条。

                    至此,AI 基建建设慢、协同难的效率痛点迎刃而解。当美国同行还在为天价电费焦头烂额时,真正决定AI基建长期生命力的度电成本,也已在乌兰察布被彻底改写。

                    02

                    绿电直供,把Token成本打下来

                    AI的竞争,从算力转向电力已经是不争的事实。

                    在美国,并网排队动辄数年,美方巨头被迫自建昂贵的天然气轮机保底。彭博新能源财经今年4月报道称,2023至2025年间,受AI数据中心推动,美国燃气轮机(CCGT)电厂平均建设成本飙升66%,从每千瓦不足1500美元涨至2157美元。

                    远景的破局之道极其干脆,星河基地通过专用输电线路,将自建风光电站、储能与数据中心直接相连,建成后绿电直供比例目标超 80%,绿电直供方案更加优惠。

                    但绿电向来靠天吃饭,远景凭什么敢用它支撑24小时不能间断的AI训练?

                    首先,空间错峰选址。远景在距园区约两小时车程的强风区布局两座风电场,刻意让两者相距约 80 公里,用地理跨度对冲气象波动,大幅降低了全年同时无风的概率。

                    其次,1.75倍饱和式超配。这两座风电场总装机高达 420 兆瓦,是数据中心 240 兆瓦负荷的 1.75 倍,这意味着即便遇到弱风天,冗余装机依然能稳稳托住绝大部分算力负荷。

                    最后,是软硬一体长时储能。园区配套 4 小时电池储能系统削峰填谷,且储能硬件与 EMS 能量管理系统全栈自研,避免了第三方系统的调度损耗。

                    当美国同行被老旧电网和高价燃气轮机卡住脖子时,远景在乌兰察布直接用“源网荷储+绿电直供”另起炉灶,把极低成本的草原风电变成算力底层燃料,帮中国AI企业踏平了昂贵的电力入场门槛。

                    极致的低度电成本,最终转化成了中国AI产业的竞争红利。随着每度电成本被压到极致,大模型训练与推理的Token 成本随之下探,中国AI厂商得以省下巨额电费开销,把真金白银砸向算法迭代与商业落地。

                    如果说自建风光储只是把新能源巨头的优势搬到了数据中心门口,那么远景真正让硅谷感到震动的,是它直接跨到了电气巨头英伟达的领地,在机柜供电架构上实现对美国方案的代际超越。

                    03

                    800V高压直流领先英伟达落地

                    绿电直供解决的是电的来源,接下来最关键的问题是:电怎么进机柜?

                    当前AI 机柜的功率密度在快速抬升。英伟达下一代 Kyber 机架单柜功率约 600kW,足足是传统机柜的数十倍。

                    传统供电链路像一场繁琐的接力赛。电流需经历多次交直流转换,再穿过 UPS 和服务器电源才进入机柜,每次变换都在加剧能量损耗与散热压力。单柜十几 kW 时这套办法还能应付,到了 600kW,散热和空间就都撑不住了。

                    供电稳定性是另一道坎。AI数据中心要求全年8760小时运行,供电可靠性要做到 99.999%,还要能扛住毫秒至秒级的 GPU 负荷波动。

                    普通数据中心的“UPS+柴发”方案根本做不到。高频反复的功率阶跃会加速UPS电池老化,而柴发从启动到带载要数秒甚至数分钟,等它上来,尖峰早过去了。

                    于是行业纷纷转向 800V 高压直流,试图在有限空间内向单柜输送更大功率并稳住供电,英伟达也在力推下一代高密度机架采用这一架构。

                    远景则率先在星河基地跑通验证,落地全球首套在大型 AI 数据中心商运的一体化 800V 高压直流供电系统,跑在了英伟达的前面。

                    在这场商业化落地的赛跑中,远景领先一个身位并非偶然,它的差异化优势主要体现在两方面。

                    首先是垂直整合能力与全链路能量管理。该公司以“远景天枢”控制器 + 固态变压器(SST) + 直流储能 + DC/DC”构建起保护体系,相当于在机房门口修了一座毫秒级蓄水池:SST 将 10kV 中压交流一步转为 800V 直流直达机柜,电池储能直接挂在直流母线上。

                    “远景天枢”控制器宛如“乐团总指挥”。当GPU功率突然上升时,它会在毫秒内协调SST和电池储能,SST 承担主功率、稳住母线电压、调电流;储能是缓冲器,就地补上部分瞬时功率,既减轻传到上游的冲击,又能保留短时备电所需的能量,让剧烈的负荷震荡消弭于无形。

                    其次是工程化落地反哺产品迭代与体系验证。技术从图纸走向大规模商用,必须打通电源、储能、配电与算力负载的跨域接口并联合调试,因地制宜完成系统优化与联合调试。

                    星河基地的真实商运,沉淀出大规模 GPU 负荷下的一手运行数据与边界认知,反向驱动产品迭代,不断完善验证体系。这份来自一线的工程积累,正是远景赋能全球 AI 基建升级的底气。

                    对客户而言,价值能直观体现在三方面。一是SST 转换效率稳超 98.5%,全链路电损大幅压低;二是配电设备占地直接砍半,冷却匹配下同面积机房可部署更多高密算力;三是毫秒级储能兜底,彻底抹平了负载剧烈跳变带来的波动风险。

                    至此,从绿电生产到算力运算的能量链路真正闭合。每一度风电以极低损耗直达 GPU 的直供方案,终于从概念走向可验收的工程现实,为全球 AI 基建立起了一座技术灯塔。

                    04

                    结语

                    AI时代,速度优先被奉为圭臬。从国家到行业,大家都在抢市场、拼速度,而支撑速度的,正是扎实的基础设施、牢靠的底层架构与强大的系统集成能力。放眼整个AI行业,如果没有稳定的AI基建,上层芯片训练就像空中楼阁。

                    硅谷巨头星际之门的受挫,与远景星河基地的迅速崛起,恰恰说明了这一点。实际上,美国的技术路线上未解的难题,如电力、系统、协同等,在远景星河基地,都有了合适的解法。远景当下的方案,领先美国好几年。

                    更值得期待的是,乌兰察布只是远景的起点。今年,远景启动了“戈壁使命”(Mission Gobi)全球计划,将于2030 年前在全球荒漠地区建成 5GW 绿色算力中心。

                    这一路径也优于美国。当以马斯克为代表的美国企业家还在仰望星空、畅想太空数据中心时,亚马逊云科技CEO马特·加曼却点破现实:“太空算力二十年内经济性都不可行,沙漠算力更有前景。”

                    远景,正以星河基地为标杆,以全球荒漠为坐标体系,将数据中心星罗密布于世界棋盘,让AI普惠到每一个体。

                    //

                    推荐阅读

                    图片

                    未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

                    公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

                    阅读原文

                    跳转微信打开

                    前 OpenAI 研究员用权重验证:DeepSeek、Kimi 用了 Blackwell?

                    2026年11月17日 19:23

                    原创 NLPer 2026-11-17 19:23 江苏

                    有问题吗

                    前 OpenAI 研究员 Will DePue 发了一条长帖,一口气点名 DeepSeek、月之暗面、MiniMax 和蚂蚁,称它们的六个模型留下了 Blackwell 的初始化指纹。

                    Will DePue发布报告的主帖节选

                    Will 曾参与 Sora 和 Sora 2 的开发,也做过 GPT-4o、o3 等模型的后训练。这次,他通过 Unemployment Labs 发布了一份名为 Checkpoint Forensics 的报告,把线索指向了模型公开的权重。

                    他的办法是从权重中找出残留的随机初值,再寻找能够生成这些数值的种子和 GPU 布局。它直接识别的是初始化时的计算布局,据此推测后续训练硬件;权重本身不包含芯片地点或获取途径。

                    报告同时给出了跨版本的结果:DeepSeek V3 与 V4、Kimi K2.5 与 K3,匹配到的硬件布局已经不同。

                    哪些版本留下了新指纹

                    在 11 月 12 日发布的报告中,作者列出了六个 Blackwell 版本。Blackwell 比 Hopper 更新一代,不同型号的布局也有差别。

                    模型版本

                    报告匹配的芯片组

                    DeepSeek-V4-Flash

                    B200 / B300

                    DeepSeek-V4-Pro

                    GB200 / GB300

                    Kimi K3与K3.1-Pro

                    GB200 / GB300

                    MiniMax-M3

                    B200 / B300

                    Ling-3.1-flash

                    GB200 / GB300

                    B200/B300 在这里对应 148 SM,GB200/GB300 对应 152 SM。附录还把更新的 MiniMax-M3.1-Flash 标为与 M3 使用相同初始化,一并列入 148 SM 这一组。

                    再往前看,DeepSeek V3、V3.2,Kimi K2、K2.5,MiniMax M2到M2.7,以及Ling-3.0-flash,匹配的都是上一代 Hopper 的 132 SM 布局。H100 SXM、H800 和 H200 都属于这一组,这种指纹不能进一步把它们分开。

                    Kimi K3.1-Pro 与 K3 使用了相同种子,作者认为前者可能是 K3 继续后训练的版本。

                    报告检查的 Qwen3.8-2.4T-A95B、GLM-5.3、Hy4-preview、Step-5-Preview 和 MiMo-V2.5-Pro 也仍匹配 Hopper。

                    还有没读出结果的:DeepSeek-V4.1-Flash、Qwen3.8-Flash-Next 和 LongCat-2.0 都没有检出可用的 NVIDIA 硬件指纹。

                    随机数留下了痕迹

                    模型训练前,先要给权重填上一组初始值。这些数看起来随机,却可以重建:只要随机数生成器的种子和设置相同,它就会再次生成同样的数字。

                    训练会不断修改这些数,但有些位置改得很少。例如,某个 token 从未在训练中出现,它对应的 embedding 行就可能保留初值。作者找到了这样一些几乎保留原样的行,相当于留下了训练前的底稿。

                    找到这份底稿,就可以反过来问:用哪种设置,能重新生成它?

                    生成数字只是一半。GPU 还要把它们填到权重矩阵的对应位置。

                    可以把权重看成一长排空格,许多线程各带着自己的数字串,负责其中一部分格子。

                    报告用了一个缩小版的例子:6 个 SM,每个 SM 有 8 个线程,总共 48 个。第一个线程负责第 1、49、97 格;第二个线程负责第 2、50、98 格,后面的线程按同样规则接着排。

                    报告图1 同一线程生成的数值会落在有规律的位置

                    报告图1 同一线程生成的数值会落在有规律的位置

                    现在种子不变,只把总线程数从 48 换成 40。同一个线程生成的数字没变,但它接下来填的就成了第 41 格、第 81 格。

                    总线程数

                    第一次填

                    第二次填

                    第三次填

                    48

                    第1格

                    第49格

                    第97格

                    40

                    第1格

                    第41格

                    第81格

                    数字还是那些数字,位置已经错开了。 把两种排布按原位置逐格比较,大部分就对不上。

                    报告图2 同一种子换了线程数 数字位置随之变化

                    报告图2 同一种子换了线程数 数字位置随之变化

                    真实 GPU 的线程数大得多。在作者研究的这条 PyTorch 初始化路径中,每个 SM 对应 2048 个线程,所以 SM 数不同,填数字的排布也不同。前面的 132、148 和 152 SM,就是这样进入权重指纹的。

                    两个条件都要对上

                    要重建底稿,种子和排布缺一不可:种子决定生成什么数字,排布决定数字落在哪里。

                    报告图3把四种搭配摆到了一起。左上角,两者都对,示意矩阵可以重建;右上角,种子正确但排布错误,数字落错位置;下面两格换了种子,连数字序列也变了。

                    报告图3 种子与布局的四种组合示意

                    报告图3 种子与布局的四种组合示意

                    作者先搜索种子与布局的组合,找到最贴合的候选,再固定这组参数,去预测另一批没有参与搜索的权重。后面这批也能对上,说明匹配不只存在于最初挑出的样本里。

                    种子来自对 32 位种子空间的遍历,约 43 亿种可能。提供给读者的复现包已经带上找到的种子,可以直接检查布局匹配。

                    再换真显卡核对

                    拿 DeepSeek-V4-Flash 来看,作者给出的种子是 953049583。用它生成初值,再分别尝试不同 SM 数量的排布,与发布权重比较。

                    Will DePue演示用不同GPU布局重建初值

                    Will DePue演示用不同GPU布局重建初值

                    公开脚本会从 16 扫到 256,一共试 241 种 SM 数量。匹配到 148 时,V4-Flash 的相关性突然升高;V3 和 Kimi K3 的峰值则分别出现在 132 和 152。

                    报告图6 三个模型的相关性峰值出现在不同的SM数量

                    报告图6 三个模型的相关性峰值出现在不同的SM数量

                    相关性接近 1,表示两组数值在对应位置上的高低变化几乎同步;接近 0,则没有明显对应关系。报告图4中,匹配的组合形成绿色斜线,换成另一种布局,就变成一团散点。

                    报告图4 DeepSeek V3与V4-Flash分别匹配不同布局

                    报告图4 DeepSeek V3与V4-Flash分别匹配不同布局

                    作者又拿真实 GPU 运行原版 PyTorch,让硬件重新生成初值。列出的结果如下:

                    作者使用的GPU

                    匹配的权重片段

                    H100

                    DeepSeek V3的8条样本行

                    B300

                    V4-Flash的461条样本行

                    GB200

                    Kimi K3的13条样本行

                    交叉换卡后,H100 无法重建 V4-Flash 的对应片段,B300 也无法重建 V3 的对应片段。再把种子只加一,这些真机匹配也全部消失。

                    从布局到具体硬件,还有一个重要问题。

                    报告实际测试发现,经过特殊配置的 AMD MI300X 也能产生 148 或 152 的对应布局。因此,作者又用数值计算的细微差异区分厂商,并称这一检查排除了 DeepSeek-V4-Flash 的 AMD 解释;其余五个模型没有得到同等程度的排除。

                    再往后,初始化与后续训练之间仍有一步:权重可以在一种硬件上生成,再转移到另一种硬件上训练。指纹本身也不包含芯片地点、取得途径或是否违规的信息。

                    最后

                    作者把代码和选好的权重行一起放到了 GitHub,片段合计约 7 MB。普通电脑用 CPU 就能运行,不必先下载这些完整大模型。

                    在已有的 Python 环境中,可以这样安装依赖并运行。下面固定到本文引用的代码版本:

                    git clone https://github.com/macrogrants/checkpoint-forensics.git
                    cd checkpoint-forensics
                    git checkout b633870c
                    python -m pip install numpy scipy
                    python replay.py

                    默认会检查包内的五个模型。只想看 DeepSeek-V4-Flash 和 Kimi K3,可以运行:

                    python replay.py DeepSeek-V4-Flash Kimi-K3

                    输出里主要看这几列:

                    输出列

                    怎么看

                    SMs

                    哪种线程布局最贴合

                    rows

                    给定样本中有多少行达到匹配阈值

                    median r

                    样本行相关性的中位数

                    seed+1

                    种子加一后的对照结果

                    next best

                    次优布局及它的相关性

                    例如作者给出的 V4-Flash 结果是 461/469:选定的 469 行中,461 行达到相关性阈值,其余 8 行已被训练部分改变。

                    最后,大家觉得这种验证方法有问题吗?

                    参考链接

                    跳转微信打开

                    上海AI实验室发布Sage-S2.1-Flash科学推理模型,腾讯推出Hy4 flash模型

                    2026年11月17日 18:57

                    原创 每日发现最新 2026-11-17 18:57 中国香港

                    科学推理模型Sage-S2.1-Flash,科学推理模型Axion-1.0-35B,通用智能体模型腾讯Hy4 flash,机器人世界模型CloudRobo-WM1.2,音视频交互世界模型Duo v1。

                    11 月 17 日,今天关注的项目覆盖科学推理、通用智能体与世界建模:Sage-S2.1-Flash 将多种科学输入接入统一模型,腾讯 Hy4 flash 提供百万级上下文 API,Duo v1 探索可打断的实时音视频交互。

                    🔬 科学推理

                    ★ Sage-S2.1-Flash

                    处理分子、晶体和蛋白质等科学输入,结合检索与编程工具完成多轮验证。

                    上海 AI 实验室的 Sage-S2.1-Flash 支持分子图、晶体、蛋白序列及三维结构等十余类科学输入。SciPerception 通过编码与投影,将这些信息接入统一表示空间。

                    模型结合检索、编程工具开展多轮验证。Hugging Face 标注参数量为 321B,代码与权重采用 MIT 许可,提供 BF16、FP8 权重;科学任务还需接入对应编码器、投影与读出组件。

                    上手门槛

                    自行部署:🔴 极高|321B 模型需多卡推理资源|科学任务需接入专用组件

                    模型地址:https://huggingface.co/internlm/Sage-S2.1-Flash

                    ★ Axion-1.0-35B

                    结合科学推理与检索工具,提供总参数 35B、激活参数 3B 的复现权重。

                    本次关注的 Axion-1.0-35B 明确标注为 Reproduction checkpoint,即复现权重。训练使用约 1.8 万条监督微调样本:先学习科学问题推理与外部信息调查,再通过智能体交互轨迹上的强化学习,改进工具使用与问题求解。

                    它面向科学推理与工具检索,提供 BF16 权重,采用 Apache 2.0 许可。工具调用需另配执行程序;官方 vLLM 示例使用 8 张卡,这属于部署示例,不代表最低配置。

                    上手门槛

                    自行部署:🔴 高|需多卡 BF16 推理资源|工具调用需配置执行组件

                    模型权重:https://huggingface.co/Axion1-0/Axion-1.0-35B

                    ⚡ 通用智能体

                    ★ 腾讯 Hy4 flash

                    接收图文并输出文字,以百万级上下文支持文档处理、编码和智能体任务。

                    腾讯于 11 月 16 日发布 Hy4 flash,总参数量为 224B,每次激活 12B,支持 100 万 Token 上下文。模型接收图片和文字、输出文字,面向文档处理、编码与智能体工作流。

                    开发者可通过 TokenHub 标准 API 接入,并使用兼容 OpenAI、Anthropic 的接口。官方计划后续开放权重,目前应以已提供的 API 路径为准。

                    上手门槛

                    开发接入:🟢 低|TokenHub 提供标准 API|兼容 OpenAI 与 Anthropic 接口

                    API 文档:https://cloud.tencent.com/tokenhub/hy4-flash-en

                    发布公告:https://www.tencent.com/tencent-launches-hy4-flash-to-power-high-speed-cost-efficient-ai-deployment-for-everyday-workflows/

                    🌐 世界建模

                    ★ CloudRobo-WM1.2

                    面向机器人世界建模,提供基于昇腾的具身智能底层模型能力。

                    华为于 11 月 16 日发布昇腾原生具身世界模型 CloudRobo-WM1.2,并宣布开源。该项目面向机器人世界建模,定位于向产业提供底层能力,华为不做机器人本体。

                    目前尚未核实 1.2 版本对应的完整代码、权重与许可信息,现有 1.0 资源不能替代本次版本。因此,暂不列出可直接复现或自行部署的入口。

                    官方发布:https://www.huaweicloud.com/about/live/261116.html

                    ★ Duo v1

                    持续接收音视频与文字,在统一时间轴上实现可打断的全双工交互。

                    蚂蚁与西湖心辰联合提出双向世界模型 RWM,Duo v1 相关论文于 11 月 11 日发布。Intent 模块通过自回归交互推理决定何时回应,Realization 模块负责生成音视频。

                    当前预览版提供基础音视频对话,已开放代码及基础、蒸馏权重。蒸馏版本需搭配基础模型;代码采用 Apache 2.0 许可,蒸馏权重采用 MiniMax-H3 社区许可。主分支支持离线推理,实时流式运行需使用对应分支。

                    上手门槛

                    自行部署:🔴 高|默认离线参考配置使用双 GPU|需配置多个音视频组件

                    论文地址:https://arxiv.org/abs/2611.15131

                    官方模型集合:https://huggingface.co/collections/inclusionAI/duo-v1

                    项目代码:https://github.com/inclusionAI/Duo

                    跳转微信打开

                    ICLR 2027满分论文大赏:什么样的创新最打动人?

                    2026年11月17日 17:38

                    原创 让你更懂AI的 2026-11-17 17:38 北京

                    Rebuttal如何逆转评分

                    图片

                    从 2 分升到 4 分,再到三位审稿人集体提分,作者究竟拿出了哪些让人信服的新证据?

                    ICLR 2027 的「满分作文」,已经出现了。

                    初审评分公布时,只有三篇论文获得审稿人的一致满分。

                    随着 Rebuttal 推进,截至 11 月 17 日,已有 8 篇论文获得三位审稿人一致的 4 分最高推荐,其中一篇甚至从 3、3、3 一路升至 4、4、4。

                    顶会论文的满分答卷,究竟长什么样?那些后来成功提分的,又是怎么说服审稿人的?

                    初审即获满分

                    大模型自己管理上下文

                    论文标题:

                    Context Language Models

                    论文地址:

                    https://openreview.net/forum?id=U1ObEVC4A7

                    代码地址:

                    https://github.com/facebookresearch/context-language-models

                    何时压缩历史、保留哪些信息,通常由外部 Harness 预设的规则决定。

                    华盛顿大学、Meta 超级智能实验室等机构提出的 Context Language Models(CLM),索性把当前上下文变成可编辑的文件,交由模型自行维护。

                    模型可以删除冗余记录、整理关键信息,还能为多智能体协作维护各自的上下文。这些管理策略还可以通过指令优化和强化学习进一步改进。

                    在深度研究基准 BrowseComp-Plus 上,CLM 的准确率相对最强对照方案提高 11.4%,推理计算量(FLOPs)减少21.5%。在 12 小时的代码优化任务中,得分提高 5%,计算量下降59%。

                    〓上下文语言模型的基本设计与代表性实验结果

                    参数更大,归纳能力反而变弱?

                    论文标题:

                    Latent Taxonomies: How Property Induction Develops in Language Model Pre-training

                    论文地址:

                    https://openreview.net/forum?id=m5TLPK0U7O

                    知道知更鸟具有某种特征,人们更容易推测麻雀也有这种特征,却不太会据此推断鲸鱼也有。语言模型会不会在预训练中形成类似的类别归纳能力?

                    瑞士洛桑联邦理工学院(EPFL)、AXA 等机构的研究团队把带有隐含类别关系的合成知识混入 Pythia 和 OLMo 2 的继续预训练过程,发现仅凭下一个词预测,模型就能学会按类别推断陌生属性。

                    对模型内部表征进行聚类,甚至能够恢复实验中预设的完整分类树。

                    在固定且有限的数据预算下,随着模型参数量增大,正确的类别归纳能力反而减弱。

                    不过,作者在 Rebuttal 中将数据预算扩大四倍后发现,1B 模型最终追上并反超了 160M 模型。更大的模型可能需要更多训练数据,才能充分学会利用潜在类别结构。

                    〓潜在类别结构与属性归纳的实验设置

                    Rebuttal后升至满分

                    64层网络,胜过1024层

                    论文标题:

                    Outperforming 1000 Euclidean Layers With Hyperbolic Contrastive RL

                    论文地址:

                    https://openreview.net/forum?id=ldn229Iy07

                    代码地址:

                    https://github.com/Probabilistic-and-Interactive-ML/HypGCRL

                    在迷宫中,两个位置的直线距离可能很近,实际路线却隔着一堵墙。

                    传统对比强化学习通常使用状态—动作表征与目标表征之间的欧氏距离来衡量目标可达性,面对复杂路径结构,往往需要更深的网络才能学好这种关系。

                    维也纳大学等机构的团队改用双曲空间中的测地距离,让模型更容易捕捉迷宫中的实际可达路径。

                    在困难的人形机器人迷宫任务中,64 层双曲模型的表现超过 1024 层欧氏模型,训练速度快 12 倍以上,参数量约少 13 倍。

                    〓64层双曲模型与深层欧氏模型的性能及训练耗时对比

                    Rebuttal提分观察

                    审稿人担心跨论文基线的比较不够公平,也质疑机器人是否可能通过越墙到达目标。作者统一训练协议重新测试欧氏基线,并在加高墙体的迷宫中验证结果。一位审稿人的评分由 2 分提高至 4 分。

                    融合AlphaFold3等模型的表征

                    论文标题:

                    Co-folding with a Soup of Representations

                    论文地址:

                    https://openreview.net/forum?id=Jn7WiQ9LtS

                    代码地址:

                    https://github.com/hsjang0/soupfold

                    AlphaFold3 之后,生物分子复合物结构预测涌现出多种强模型,但面对同一种复合物,不同模型的预测能力仍有差异。

                    韩国科学技术院(KAIST)提出的 SoupFold 尝试直接融合模型内部的成对表征,让不同模型捕捉到的结构线索相互补充。

                    SoupFold 以其中一个模型为主模型,将其他模型的表征映射到它的表征空间,再融合这些信息生成结构。

                    研究涉及 AlphaFold3、Protenix、ESMFold2 和 OpenDDE 等模型。基础模型无需重新训练,只需学习轻量级的表征映射。

                    在包含 422 个抗体—抗原预测目标的 CoFold Arena 评测中,SoupFold 融合 OpenDDE、Protenix 和 ESMFold2 的表征,表现超过了当时榜单中的其他模型。

                    〓SoupFold融合多种共折叠模型的结构表征

                    Rebuttal提分观察

                    作者补充了同等计算预算下的强模型对照,并检查训练数据与评测数据的隔离情况,排查性能收益是否来自额外计算或数据泄漏。随后,一位审稿人将评分从 3 分提高至 4 分。

                    数学证明压缩,也有训练陷阱

                    论文标题:

                    LeanPolish: Verified Supervision for Lean Proof Compression

                    论文地址:

                    https://openreview.net/forum?id=yRmdNlDhJS

                    代码地址:

                    https://github.com/paulinebourigault/leanpolish

                    AI 生成的数学证明即便能够通过 Lean 验证,也可能冗长、重复。

                    伦敦帝国理工学院提出的 LeanPolish 希望利用经过验证的修改记录,让模型学会压缩证明。

                    研究同时发现,只记录搜索遇到的第一个成功修改,可能把候选顺序变成答案提示,让模型学到与证明内容无关的捷径。

                    〓LeanPolish的证明修改、校验与数据记录流程

                    团队整理了 33,402 条验证成功的局部修改和 65,596 条失败尝试。在原先的候选排序评测中,一个完全不看证明内容的简单规则,竟然也能达到100%的准确率。

                    改用完整候选集后,训练模型的排序准确率达到 70.1%,明显超过最强冻结模型的36.9%。

                    在 miniF2F 上,LeanPolish 的符号方法经过多轮迭代,证明 Token 数的降幅从 19.7% 扩大至 27.5%,超过了论文测试的神经网络混合方案。

                    利用这些修改数据微调后,DeepSeek-Prover 在单次生成条件下,成功缩短证明的比例也从 12% 提高至 58%。

                    Rebuttal提分观察

                    为了确认微调究竟带来了多少实际收益,作者增加了等预算冻结模型对照、多随机种子测试,以及限制验证次数的实验。三位审稿人最终均将评分从 3 分提高至 4 分。

                    8.8秒完成高精度三维重建

                    论文标题:

                    DMap: Efficient Dense Matching and Bundle Adjustment for Accurate 3D Reconstruction

                    论文地址:

                    https://openreview.net/forum?id=iikGG5Se3J

                    视觉基础模型能够快速预测三维场景,但直接回归往往难以保留亚像素级的几何约束;传统束调整虽然精度高,处理稠密对应关系又十分耗时。

                    DMap 利用预训练多视角模型完成全局初始化,并复用模型提取的特征,通过轻量解码器实现稠密匹配,随后在规则像素网格上进行 GPU 并行的稠密束调整。

                    〓DMap的多视角匹配与稠密束调整流程

                    在 ETH3D 的 25 个场景上,其高分辨率版本平均每场景只用 8.8 秒,相对位姿精度指标 AUC@1° 达到 88.6%。

                    Rebuttal提分观察

                    作者新增了与其他 GPU 束调整求解器的直接比较,还补充了逐像素深度精度实验。一位审稿人认可这些结果,将评分从 2 分提高至 4 分。

                    AI生成材料,符合物理规律吗?

                    论文标题:

                    What Defines a High-Quality Generated Material? Stress-Testing Generative Models on Amorphous Matter

                    论文地址:

                    https://openreview.net/forum?id=PTsclw583x

                    生成材料的结构指标表现不错,就意味着它符合物理规律吗?

                    对缺乏长程有序结构的非晶材料而言,传统的几何相似度指标尤其容易漏掉问题。一个局部异常的原子,就可能带来明显不合理的物理行为。

                    这篇论文提出 AmorphBench,围绕局部结构、拓扑、衍射、力学、能量及构型空间覆盖度,设置六大类 21 项质量指标。

                    〓AmorphBench的材料体系、评价维度与测试流程

                    研究评估了 8 种生成与结构拟合方法,覆盖 5 种非晶材料体系、14 组密度和成分条件。

                    结果显示,一些模型在结构指标上表现不错,却依然存在能量异常、力学性质失真等问题。即使将训练数据增加十倍,各种方法的相对排名也没有发生变化。

                    Rebuttal提分观察

                    围绕基准数据量偏小、应用场景不够清晰的疑问,作者增加了扩大数据规模后的评测和计算成本分析,并进一步说明基准适用的材料采样任务。一位审稿人随后将评分从 2 分提高至 4 分。

                    多模态聚类,负样本也分可信度

                    论文标题:

                    What to Preserve and Trust in Multi-modal Clustering: Cross-Guided Information Bottleneck with Reliable Contrastive Learning

                    论文地址:

                    https://openreview.net/forum?id=JYMIxuG7ph

                    多模态聚类希望从不同模态的数据中找到共同的类别结构,难点在于各模态的有效信息因样本而异。对比学习还可能把同一类别的两个样本错误地当作负样本。

                    交叉引导信息瓶颈针对每个样本,动态调整其他模态提供的信息,促进跨模态共享信息的保留。可靠对比学习则分别估计负样本关系的模糊程度与样本可信度,再调整训练权重。

                    〓CGIB-RCL的跨模态信息筛选与可靠对比学习框架

                    在五个多模态数据集上,CGIB-RCL 的聚类准确率和归一化互信息均取得最佳成绩。其中,在 Caltech-3V 数据集上,聚类准确率达到 79.1%,归一化互信息达到 71.6%。

                    Rebuttal提分观察

                    审稿人担心性能提升只是因为整体减弱了负样本约束。作者补齐相关方法的对照,并用恒定权重和打乱负样本权重的控制实验检验自适应加权的作用,同时澄清了理论表述。两位审稿人均将评分从 3 分提高至 4 分。

                    另一篇满分论文

                    零样本控制,测试时再选策略

                    论文标题:

                    Zero-Shot Control with Gaussian Representations and Test-Time Adjustment

                    论文地址:

                    https://openreview.net/forum?id=WeUNn9rlIi

                    最初三篇初审满分论文中,Zero-Shot Control 的情况比较特殊。两位正式审稿人都给了 4 分,11 月 11 日,AC 却在公开评论中给出 2 分弱拒稿意见。

                    论文提出高斯潜在动力学后继特征(GLDSF),改善零样本控制中的表征学习。

                    传统方法通常直接根据推断出的任务奖励选择策略,而这项工作将用于评估任务的奖励系数与决定策略的行为编码分开,在测试阶段搜索更合适的预训练策略,无须更新预训练参数或额外与环境交互。

                    在 ExORL 基准中,未经测试时调整的模型在图像观测下较最强基线整体提升 24.0%。加入调整后,图像任务又提升 8.4%。

                    〓零样本控制方法在状态和图像观测下的性能对比

                    更多阅读

                    ·

                    跳转微信打开

                    大模型手搓Harness有多难?GPT-6 Astra夺冠,通过率仅53.05%

                    2026年11月17日 17:38

                    让你更懂AI的 2026-11-17 17:38 北京

                    Doc2Harness首测大模型自建智能体底座

                    编程智能体的表现,既取决于模型本身,也取决于包在模型外面的 harness:主循环、工具执行、上下文管理、权限、会话状态与故障恢复。

                    自进化(RSI, recursive self-improvement)要求智能体不断修改约束自身行为的这层基础设施,模型构建 harness 的能力决定了智能体 RSI 的上限。

                    近日,来自中科院计算所、清华大学、北京大学与东南大学的研究团队提出了 Doc2Harness,这是首个直接评测长程 harness 工程能力的确定性基准。

                    被测模型依据一份开发文档,从一个只声明接口的契约骨架出发,在隔离容器中构建出完整的候选 harness。

                    该 harness 随后被冻结,由脚本化的 mock 模型驱动,在 328 个 test case 上评测。19 个前沿模型中排名第一的 GPT-6 Astra,通过率为 53.05%。

                    论文标题:

                    Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents

                    论文地址:

                    https://arxiv.org/abs/2610.20344

                    项目主页:

                    https://geyuyao.com/doc2harness/

                    代码地址:

                    https://github.com/YuyaoGe/doc2harness

                    动机:harness 工程为何需要专门的评测

                    构建 harness 属于软件工程任务,但现有的软件工程基准难以直接用于评测它。

                    从数据的角度看,SWE-bench Pro、NL2Repo-Bench、Commit0 等基准使用的开源仓库大多是成熟项目,很可能已多次出现在训练语料中;harness 则是近几年才出现的软件,迭代很快,模型难以依靠记忆完成。

                    从判定方式的角度看,现有基准依靠任务自带的单元测试,而同一功能在 harness 中可以有多种实现,单元测试只能通过固定接口观察行为。

                    此外,harness 本身不完成下游任务,必须由模型驱动才能检验其正确性。因此,评测 harness 只能依据它被驱动时的外部行为。

                    总体设计:在一个容器中构建,在另一个容器中评测

                    Doc2Harness 分为两个阶段,每个阶段各固定一个组件,以减少混杂因素。

                    2.1 阶段一:构建

                    被测的 agent 由构建模型(build model)和一个固定的构建 harness(builder harness)组成。它阅读开发文档,以契约骨架为起点,写出候选 harness。

                    构建 harness 统一采用开源的 OpenCode。之所以没有使用 Claude Code 或 Codex CLI,是因为它们由模型厂商开发,可能对自家模型存在倾向性。

                    只有发出提交,构建才算结束。每次提交会触发契约检查(contract check),检查交付物能否编译安装、必需的命令是否齐全、有没有残留占位代码、三个契约接口是否就位。

                    契约检查只看形式,不运行任何 test case。检查通过,交付物就被冻结为候选 harness,之后不再修改。

                    检查不通过则退回,被测的 agent 可以修改后再次提交。每次构建最多提交 3 次,墙钟时间上限为 2 小时。

                    2.2 阶段二:评测

                    冻结后的候选 harness 被移到与构建环境隔离的容器中运行,每个 test case 使用单独的容器和单独的一份初始文件。

                    mock 模型按照预设脚本给出回复,驱动候选 harness 走完一次完整的会话。真实大模型的输出带有随机性,会干扰评测;mock 模型的回复完全依照预设脚本,因此每一次判定都是确定的。

                    每个 test case 从四个可观测通道(observable channel)读取效果:发送给模型的请求、磁盘上的文件、进程退出码和命令输出。

                    有些 test case 还配有正控(positive control)。一个 test case 只有在自身通过、并且为它把关的每个正控也都通过时,才记为 PASS。

                    正控本身不计入通过率。构建模型的能力通过候选 harness 在全部 test case 上的通过率间接体现出来,因此 Doc2Harness 排名的是构建模型,而不是某一个 harness。

                    任务输入:开发文档与契约骨架

                    两份输入都在尽量减少构建模型对既有知识的依赖,使其依据规格而非记忆完成构建。

                    3.1 开发文档:整合 12 个前沿 harness 的功能

                    开发文档的编写分三步。

                    收集功能清单。研究团队爬取了 12 个前沿 harness 的用户文档,包括 Claude Code、Kimi Code、Gemini CLI、Qwen Code、OpenCode、OpenClaw、Codex CLI、Aider、OpenHands、Cline、Crush 和 Cursor,从中提取候选功能,再逐项补充调用形式、参数语义和边界行为,合并、去重、裁剪后形成一份能力清单。

                    把清单写成条款。条款是文档的基本单位。文档共 10 章,涵盖交付物与运行接口、内置工具、顶层命令与子命令、权限与角色模式、全局参数、会话内命令与快捷键、持久记忆、约定文件、一致性规则和退出码。

                    每条条款规定语法、含义和预期行为,其效果必须能通过四个通道之一观察到;除了契约骨架的三个接口,条款不对实现方式作任何限定。

                    消除歧义。12 个来源的条款难免互相冲突。语义重叠的命令被合并,例如上下文压缩在 Claude Code 中叫  /compact ,在 Cursor 中叫  /summarize ,文档统一用  /compact 。

                    同名但含义不同的概念被拆开,例如「plan」在 Claude Code 中是六种权限模式之一,意思是只读;在 Aider 中,提出修改和执行修改则分别由 architect 和 editor 两个角色承担。

                    文档因此把只读约束放进权限,把修改的提出与执行放进角色,各自写成独立的条款。

                    3.2 契约骨架:约 70 行代码,其余由模型编写

                    契约骨架由 mini-swe-agent 精简而来,只有 5 个 Python 源文件,合计约 70 行,另附一个安装脚本、一个入口脚本和一份项目配置,不包含任何功能实现。

                    其中三个接口是不可修改的外部契约:命令行接口(CLI)、Headless 入口,以及供自动化评测驱动的 API。

                    骨架越薄,模型要自己写的部分就越多。一个有代表性的候选 harness 约有 30 个 Python 源文件、16,000 行代码,其中约 99.6% 是构建模型写的。

                    每次构建都从一个全新的空容器开始,除了指定的模型网关,容器无法访问外网。构建前会做一次预检,确认容器里没有多余的文件、OpenCode 能正常启动,任何一项不满足就中止构建。

                    test case 合成:三种方法交替使用

                    每个 test case 都要锚定在开发文档的某条条款上,同时要能区分不同的实现。

                    研究团队用三种方法交替合成 test case:前两种扩大覆盖面,第三种加深检查的深度;某种方法的边际产出下降后,就换用下一种。

                    4.1 公开 Issue 挖掘

                    这个方法基于对缺陷分布的一个判断:大模型是在人类写的代码上训练出来的,成熟 harness 和模型写的 harness 面对的是同样的接口语义和同类的边界条件,所以成熟 harness 多年来暴露过的缺陷,很可能也是模型会犯的错误。

                    研究团队拉取了四个前沿 harness 公开仓库中的全部 issue:

                    记录先按与开发文档的相关度排序,逐条审阅;报告同一现象的记录被聚成一类,形成一个候选 test case。

                    如果两个候选锚定同一条款、观察的效果又过于接近,它们会在同一批实现上同时通过或同时失败,这时只保留材料更完整的那个。

                    此外,候选必须能写成确定性的断言,并且没有被现有测试集覆盖,才会被保留。

                    4.2 跨 harness 对比

                    公开 issue 的数量和质量有限,这个方法则从源码入手。

                    研究团队按开发文档列出的功能,把一个候选 harness 的源码划分成若干模块,对 Kimi Code、Qwen Code 等成熟 harness 的源码做同样的划分,然后逐个模块比较:哪些功能成熟实现处理了而候选 harness 没有,哪些边界上两者的行为不一样。

                    实现上的差异不一定是缺陷,也可能只是写法不同,所以每一处差异都要回到开发文档中核对,只有能从某条条款的意图推导出来的差异,才作为候选 test case。

                    4.3 单变量扩展

                    这个方法从一个已经证明有区分度的 test case 出发,把它作为种子 test case,每次只改一个变量。

                    test case 由场景和断言组成,扩展时断言不变,只改场景。可以改的变量有四类:

                    • 工具:同一个目的往往可以用多种工具达到,候选 harness 可能只把其中一部分实现对了;

                    • 输入形式:例如检查路径逃逸时,输入可以换成指向文件的符号链接、指向目录的符号链接、多级符号链接或相对路径符号链接;

                    • 出错的参数:同一种编码错误可能出现在不同参数上,例如把数值 0 当作缺省;

                    • 结果出现的位置:同一行为的结果可能出现在标准输出、标准错误或错误信息中。

                    每个新候选都要做相似性检查,与种子 test case 太接近的会被舍弃,其余保留为 test case,并作为下一轮扩展的种子 test case。

                    还没有任何 test case 锚定的条款提供不了种子 test case,这部分只能靠前两种方法补上,所以三种方法需要交替使用。

                    正控:排除空过(vacuous pass)

                    5.1 空过问题

                    test case 通过,并不代表候选 harness 一定实现了对应的需求。

                    以路径逃逸为例:mock 模型的脚本让候选 harness 用 read 工具读取一个指向工作区外部的符号链接,断言外部文件的内容不会出现在发给模型的请求里。

                    内容没有出现,可能是实现拦截了这次越界读取,也可能只是它连任何文件都无法读取。两种情况下断言都成立,但只有前者满足需求,后一种情况即为空过。

                    5.2 三类正控

                    正控正是为排除空过而设计的。它和所把关的 test case 共用同一个场景和同一组初始文件,只改变输入或访问途径,换成一个不受被测条款约束的情形,并断言一个只要观测前提成立就必然出现的结果。

                    在断言本身写对的前提下,空过只有三种成因,分别由三类正控排除。

                    通道正控(Channel):检查工具结果能否到达被观察的通道:用 read 工具读一个普通文件,确认文件内容出现在请求里。

                    如果这一步失败,说明实现根本不把工具结果写进这个通道,禁止的内容没有出现也就说明不了拦截。

                    同形正控(Same form):排除没有被测约束也照样会失败的情况:输入形式不变,只换访问途径,通过 bash 工具访问同一个符号链接,确认它确实解析到工作区外,且文件可读。

                    路径逃逸条款约束的是文件工具,bash 执行的命令不在它的范围内。如果这一步失败,说明实现连不受约束的访问都完成不了,它在被测访问上没读到内容,和拦截无关。

                    反向正控(Reverse):排除实现出于别的原因一概拒绝这类输入的情况。一个拒绝所有符号链接的实现同样能通过上面的 test case,但它也会拒绝指向工作区内部的符号链接,而这种符号链接在正常使用中是合法的。

                    把输入换成这样一个符号链接,做同样的读取,确认内容仍然出现。如果这一步失败,说明那次通过并不是因为识别出了越界访问。

                    下图列出了几种典型实现在这个 test case 和三类正控上的结果。后三种实现的 test case 本身都通过了,但各有一类正控失败,最终都按空过记为 FAIL。

                    共用同一观测前提的 test case 归在同一个正控下,有多个前提的 test case 由多个正控共同把关。正控一旦失败,它把关的 test case 不论自身结果如何,都记为 FAIL。

                    测试集统计

                    根据开发文档的内容和契约骨架的三个外部契约,328 个 test case 被分为 9 个互不相交的类别(左图)。

                    会话状态 84 个、文件读写 75 个、权限 61 个、Headless 40 个、直接驱动 33 个、交互终端 20 个、交付物检查 7 个、启动 7 个、扩展发现 1 个。

                    右图是各类别中由正控把关的 test case 比例。130 个 test case 至少有一个正控把关,其中 114 个由一个正控把关,15 个由两个,1 个由三个。

                    文件读写和权限的覆盖率最高,交互终端最低;交付物检查标为 NA,因为这类 test case 要检查的内容,契约检查已经完整核验过。

                    覆盖面最广的正控一次把关 6 个 test case,它确认的是指向工作区外部的符号链接确实可读。

                    实验结果

                    研究团队评测了来自 11 家厂商的 19 个前沿模型,每个模型独立构建三次,三份候选 harness 全部计分,共 57 份构建。

                    7.1 远未饱和

                    如文首主图所示,GPT-6 Astra 的通过率最高,为 53.05%;排在最后的 Hy3 为 27.44%,两者相差约 26 个百分点。最强的模型也有近一半 test case 没有通过。

                    前两名的差距主要出在边界场景。

                    在普通场景中,Opus 5 以 80.68% 领先 GPT-6 Astra 的 72.46%;到了边界场景,GPT-6 Astra 以 48.97% 领先,Opus 5 降到 37.02%。

                    各类别区分模型的能力也不一样。权限类的平均通过率为 43.7%,最强与最弱模型相差 50.8 个百分点,61 个 test case 中有 51 个能区分模型。

                    文件读写的平均通过率与之相近,为 39.6%,强弱差却只有 20.9 个百分点。交互终端的平均通过率达到 79.9%,已接近饱和。

                    另有 56 个 test case 没有被任何一份候选 harness 通过。

                    7.2 名次在类别间变化很大

                    在六个主要类别上,同一个模型的名次最多相差 16 位:Opus 4.6 在直接驱动上排第 3,在权限上排第 19;Grok 4.7 在文件读写上排第 1,在会话状态上排第 11。

                    但这并不意味着模型在各类别之间此消彼长。

                    六个类别两两之间的 15 个相关系数全部为正,平均为 +0.521,说明模型之间的差异主要体现在整体能力上,而不是各自擅长不同的类别。

                    在全部 test case 上计算的 KR-20 系数为 0.913,测试集的内部一致性很高。

                    7.3 模块划分越细,得分越低

                    研究团队解析了全部 57 份候选 harness 的源码。

                    上图中,左侧每个点是一个模型三份构建的平均,右侧是每个模型三份构建的分布。

                    同一模型的三份构建规模相近,不同模型之间则相差很大:代码行数的方差有 95.9% 来自模型之间,代码行数与通过率的相关系数为 0.614。

                    控制代码行数之后,模块数与通过率的偏相关为 −0.423,逐一剔除单个模型后仍在 −0.484 到 −0.309 之间;每模块行数与通过率的偏相关为 +0.504。

                    在代码量相当时,把横切功能拆到越多模块里的候选 harness,得分越低。

                    总结

                    Doc2Harness 把「模型能否构建一个 harness」变成了一个可以确定性测量的问题。

                    被测模型在固定的构建 harness 中,依据整合了 12 个前沿 harness 功能的开发文档,从约 70 行的契约骨架出发,写出完整的候选 harness。

                    mock 模型再按预设脚本驱动它运行 328 个 test case,从四个通道读取效果,并用正控排除空过。

                    构建与评测放在两个隔离的阶段里,判定只依据外部可观测的行为,每一次通过都要经过正控的核验。基于断言的评测普遍存在空过的风险,正控提供了一种系统地排除它的做法。

                    实验结果显示,这项能力离饱和还很远:最强的模型也有近一半 test case 失败,而且失败集中在横切功能如何在模块之间划分这一实现选择上。研究团队希望 Doc2Harness 能够成为衡量这类长程构建能力的基准。

                    更多阅读

                    ·

                    跳转微信打开

                    GTA6 还没发布,AI已经进化了好几个时代

                    2026年11月17日 14:43

                    AINLP 2026-11-17 14:43 江苏

                    Artificial Analysis 发布了一组有意思的数据:

                    自 2023 年 12 月《GTA 6》首支预告片发布以来,AI 大模型的进步有多惊人?

                    📈 AI Progress Index 最高分从 160 飙升至 358,涨幅超过 120%!

                    491 个参评模型中,481 个是在这段等待期内发布的;

                    AI 前沿能力纪录先后在 23 个不同的日子被刷新;

                    当年排名第一的 GPT-4 Turbo,如今只能排到第 379 位;

                    就连《GTA 6》原定 5 月 26 日发售之后,AI 又刷新了 7 次纪录。

                    一款游戏还没等到,AI 已经换了好几代,

                    而这一切,只发生在不到三年的时间里,

                    《GTA 6》定于 11 月 19 日发售。

                    AA最后的调侃更有意思:

                    “各位 AI 实验室,拜托那天别发布新模型了,我们团队可能要集体请病假。” 😂

                    跳转微信打开

                    线性注意力再提速!解码最高快1.58倍

                    2026年11月17日 12:00

                    青稞AI 2026-11-17 12:00 陕西

                    线性注意力将历史信息压缩进固定大小的循环状态(Recurrent State),避免了传统 Attention 不断增长的 KV Cache。但固定大小不代表没有冗余:这些状态矩阵中,可能只有少数几个维度真正承载了主要信息。

                    来自罗格斯大学等机构的研究团队提出 SinkState,试图进一步压缩线性注意力的循环状态。

                    研究发现,在 Mamba-2、Gated DeltaNet(GDN)等架构中,状态矩阵存在明显的低秩结构。部分实验中,仅保留少量主要奇异值,就能覆盖约 99% 的状态能量。

                    基于这一发现,SinkState 引入奇异值分解(SVD),将状态矩阵转化为低秩表示,并设计了三项关键机制:

                    - 局部 SVD 更新:只处理当前子空间和新增信息,减少分解开销。

                    - 缓冲更新:积累多个 Token 后再集中压缩,降低频繁计算的成本。

                    - 异步 CPU 整理:将部分状态压缩任务交给 CPU,与 GPU 解码并行执行。

                    实验覆盖 4B 至 120B 的多种混合模型。结果显示,SinkState 解码速度最高提升 1.58 倍,循环状态显存最高减少 2.6 倍,状态相关 Kernel 最高提速 2.41 倍,部分模型的最大 Batch Size 提升至原来的 2 倍。

                    这项工作的意义不只是压缩显存。它揭示了线性注意力状态内部仍存在可利用的结构冗余,并将低秩分解从静态模型压缩带入在线推理过程。

                    未来的推理优化,或许不仅要减少模型计算,还要重新思考:模型每生成一个 Token,究竟需要读写多少历史状态?

                    跳转微信打开

                    AI蛋白质设计开始比谁的分子能用:这家AI制药公司拿到数亿元融资

                    2026年11月17日 11:38

                    机器之心 2026-11-17 11:38 北京

                    途深智合完成Pre-A及Pre-A+轮数亿元融资

                    机器之心发布

                    近日,无锡途深智合人工智能科技有限公司(以下简称 “途深智合”)连续完成两轮合计数亿元 Pre-A 轮及 Pre-A+ 轮融资。Pre-A 轮融资由上海科创集团领投、中生引领、舟山途毅等机构共同投资;Pre-A+ 轮融资由金鼎资本、镁伽科技、清科控股等机构联合投资。凯乘资本担任长期独家财务顾问。

                    在 AI for Science 加速从概念验证走向商业化落地的产业拐点期,途深智合获得了知名基金及大型产业方的重磅投资,进一步彰显了资本市场对公司在 AI 蛋白质设计领域技术实力及产业化前景的高度认可。

                    本轮融资所募资金将主要用于三大方向:

                    • 一是加速自研管线推进,重点支持多条自研管线进入 IND 申报阶段,推动创新管线从早期发现推进至临床前候选分子(PCC)阶段及 IND-enabling 研究阶段;

                    • 二是持续升级 ToursynClaw 一站式 AI 药物设计平台,强化自研蛋白生成与优化模型,进一步完善 “设计 — 实验 — 反馈 — 再设计” 的干湿闭环,提升平台在多模态药物设计中的成功率;

                    • 三是加强团队运营与市场拓展,扩充 AI 算法、生物医药研发、BD 及商业化团队,深化与国内头部药企及跨国药企的战略合作,加速 License-out、联合开发等商业化路径落地。

                    途深智合成立于 2023 年,专注于人工智能蛋白质设计领域,是一家以 AI 超智能体为核心、以干湿闭环为产线、以多模态产品库为输出端的 AI 生物制药工厂。核心团队汇聚了来自上海交通大学、约翰霍普金斯大学、剑桥大学、伦敦大学学院等国内外知名高校及研究机构的 AI 与生命科学交叉领域人才,在人工智能科研与产业化方面具备丰富经验。

                    在技术层面,途深智合自主研发多款专有(proprietary)蛋白设计模型,并对多种垂直开源 SOTA 模型进行了深度优化,形成了覆盖蛋白质设计全流程的自主技术体系,建立起聚焦生物医药领域的 ToursynClaw 一站式 AI 药物设计科学智能体平台,打造多模态产品库,重点围绕 GPCR、蛋白质无序区等传统难成药靶点,以及抗体、环肽等复杂分子类型,突破蛋白质设计与优化中的关键技术难题。针对传统方法难以成药的靶点,公司平台可通过 AI 生成、结构预测与亲和力优化,快速获得高活性、高稳定性的候选蛋白,显著拓展了可成药空间。

                    ToursynClaw 平台打通了 “设计 — 实验 — 反馈 — 再设计” 的完整干湿闭环。平台通过自动化湿实验执行智能体整合自动化实验设备完成高通量验证,实验数据实时回流至专属评估模型与风险预测模型库,持续迭代优化设计策略。目前,公司已在上百个抗体改造项目中完成真实实验验证,能够在 14 天内完成一轮干湿验证,累计产生超 5000 条实验数据,实现了 AI 设计效率与湿实验验证的深度耦合,大幅缩短了从靶点发现到候选分子确认的研发周期。

                    新一轮融资吸引了知名国资平台、专业产业资本、市场化机构等多元资本协同入局,兼具战略纵深与产业协同价值。

                    途深智合创始人兼 CEO 王宇光博士表示:“感谢各位投资人对途深智合的信任与支持,也感谢凯乘资本在本轮融资中的专业助力。自 AlphaFold 2 推动蛋白质结构预测取得重要突破以来,AI 在蛋白质工程和生物制药领域的应用不断深入。我们始终认为,衡量 AI 制药价值的关键,不只是模型在 benchmark 上的表现,更在于能否设计出具有真实功能活性和良好成药潜力、具备进一步开发价值的分子。” “从‘发现’走向‘创造’,是途深智合选择 AI 蛋白质设计的初衷。未来,我们将持续迭代 ToursynClaw 平台,深化 AI 设计与自动化实验的协同,通过真实实验数据反馈持续优化设计策略。与此同时,我们将加快自研管线推进,深化与产业伙伴的合作,推动平台能力向实际研发成果转化。我们希望逐步构建以 AI 超智能体和干湿闭环为核心的生物药研发体系,让 AI 不仅能够辅助分子发现,更能持续参与药物创造。”

                    上海科创集团表示:“AI4S 在生物医药的应用是近年我们最关注的投资方向之一。当前 AI 制药仍处在上半场,我们不赌单条管线的静态估值,而是敢于重仓那些在过程中‘做正确的事情’的团队。在途深智合身上,我们看到了这种稀缺特质。公司创始团队兼具 AI 与生物技术复合背景,真正从底层重构了 “AI 驱动 - 实验验证 - 数据回流” 的干湿闭环。公司联合产业方共建的上海抗体超级工厂充分展示了其 “自主模型 + 干湿闭环 + 规模化管线推进” 的全栈能力,高度契合集团聚焦硬科技原始创新的战略。我们期待通过资本赋能与产业资源对接,助力途深智合加速平台迭代与管线落地,为上海生物医药产业注入新动能。上海科创集团也将持续以长期资本赋能顶尖科技创业团队,助力中国本土源头创新企业从技术跟随者成长为全球医药产业的领军者。”

                    中国生物制药表示:“中生在 AI 生态布局上始终坚持‘投资 + 自研 + 合作’的多线策略,AI 已全面渗透至研发、生产、商业化的全周期链条。途深智合在 AI 蛋白质设计领域的技术积累和产业化效率令人印象深刻,其 ToursynClaw 平台在难成药靶点设计方面的突破,与中国生物制药战略方向高度一致。我们期待通过产业协同,加速途深智合的 AI 设计能力与中生创新药物开发体系协同融合,共同推动更多创新药物从算法走向临床。”

                    金鼎资本表示:“金鼎资本长期深耕产业投资,我们持续关注真正具备底层技术壁垒和产业化落地能力的团队,途深智合在 AI 蛋白质设计领域展现出的工程化思维和干湿闭环能力,在同类企业中具有显著稀缺性。我们期待以产业投资的视角和资源,陪伴途深智合穿越技术到产品的关键阶段,助力公司在生物制造与生物医药领域实现更广泛的产业落地。”

                    镁伽科技表示:“AI 提出科学假设的能力快速提升,但真实世界的验证能力尚未跟上。AI for Science 的关键瓶颈,正在从模型能力转向真实世界的反馈能力。填补这一差距,需要构建可持续运行、持续学习的科学发现体系。” 途深智合让蛋白质设计能够在真实实验中得到检验与迭代,这与镁伽构建的真实世界智能基础设施形成了很好的协同:假设生成、实验执行、结果观测与学习沉淀在同一闭环内持续运转,每一次实验都成为科学数据的一部分。此次战略投资,将进一步深化双方协同。我们期待推动 AI 设计与真实实验高效衔接,让每一次实验都成为科学发现持续积累与进化的一部分。”

                    清科控股表示:“清科控股专注于早中期投资阶段,近年来紧随国家政策方向,对新技术、新业态尤为关注。途深智合在 AI 蛋白质设计这一前沿交叉领域的早期技术布局和团队执行力,让我们看到了‘AI + 生命科学’从概念走向产品的确定性。公司以国产芯片为底座、以干湿闭环为工程化手段的技术路径,兼具自主可控与产业实用性的双重价值。我们愿意以早期投资人的耐心和资源,陪伴途深智合在 AI 制药这一长坡厚雪的赛道上持续深耕,成长为具有全球竞争力的 AI 蛋白质设计企业。”

                    上海国投赋能公司表示:“会同上海科创集团,国投赋能公司围绕科技企业全链条发展需求提供综合服务,在途深智合身上已结出具体成果:一是基础赋能方面,共同直邀企业参加首期科学智能‘百团百项’科创训练营,推荐企业进入市经信委 AI4S‘百团百项’、‘申智杯’、‘海聚英才’大赛 AI4S 专项赛等,并推动企业登上 2026 WAIC 上海国投展区,安排主流媒体专访与 PowerVoice 栏目传播;二是战略陪伴方面,协助企业与国投系基金进行投融资对接,推动企业与生态内企业签署战略合作框架协议,为下一阶段研发与管线推进备足资本与产业支撑。国投赋能公司依托普惠型基础服务、特色型核心服务、全景型战略服务体系,期待持续陪伴途深智合加速平台迭代与管线落地,为上海 AI4S 注入新动能。

                    凯乘资本表示:“感谢途深智合团队对凯乘资本的信任,很荣幸能担任公司的独家财务顾问。AI for Science 正从概念验证走向商业化落地,AI 蛋白质设计是其中产业化确定性最强、天花板最高的方向之一。公司把 AI 蛋白设计这件事真正做成了可验证、可迭代、可放大的工程体系,是这一赛道中少有的同时具备顶尖算法能力、干湿闭环工程化能力和清晰商业化路径的稀缺标的。凯乘资本始终秉持‘长期陪伴、携手同行、追求多赢’的价值观,我们将持续发挥在大健康与 AI 交叉领域的专业积累与产业资源,助力途深智合成长为全球 AI 蛋白质设计领域的领军企业。”

                    © THE END

                    转载请联系本公众号获得授权

                    投稿或寻求报道:liyazhou@jiqizhixin.com

                    跳转微信打开

                    千万token下,比DeepSeek式稀疏注意力再快22倍

                    2026年11月17日 11:38

                    原创 关注注意力的 2026-11-17 11:38 北京

                    稀疏注意力新解法:千万token下注意力层最高提速72倍

                    编辑|Panda

                    如今,百万 token 上下文已经从卖点变成了标配。4 月,DeepSeek-V4 把 1M 上下文定为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 同样支持 1M 上下文,并首次在 GLM 系列中引入稀疏注意力与线性注意力的混合架构。这些模型背后有一个共同的选择:让每个 query 不再看遍所有历史 token,只挑出少数最相关的去「看」。

                    这条路线在 1M 量级上已经被反复验证。可当上下文继续往 1000 万 token 推进时,一笔原本不起眼的开销开始失控。以 GLM-5.3-Flash 的一个全局注意力层为例,在 10M token 下做 prefill,98% 的时间并没有花在注意力计算上,而是花在决定「该看哪些 token」的索引器上。

                    问题的性质因此变了。稀疏注意力早已证明「只看一小部分」足以保住精度,真正卡住超长上下文的是「找到那一小部分」依然会随上下文长度二次方增长。

                    现在,伦敦初创公司 Prefrontal AI 与苏黎世联邦理工学院(ETH Zurich)联合发布论文,提出了一种名为 Latent Sparse Attention(LSA,隐空间稀疏注意力)的新方法。

                    它在 10M token 下把 GLM-5.3-Flash 单个注意力层的 prefill 提速 22.7 倍,把 Qwen3.8-27B 的提速 72.4 倍,同时在一系列任务上保持了与原模型相近的精度。

                    稀疏注意力的「隐形账单」

                    先回顾一下注意力的成本结构。在标准的全注意力里,每个 query 都要和之前所有的 key 计算一遍相关性,上下文长度为 T 时,prefill 的计算量是 O(T²),每解码一个 token 是 O(T)。上下文从 100 万涨到 1000 万,prefill 的注意力计算量就要涨 100 倍。

                    稀疏注意力的思路是分工:先由一个轻量的「索引器」(indexer)为每个 query 挑出 k 个最相关的 key,再让真正的注意力只在这 k 个 key 上计算。这样注意力本身的开销被压到了 O(Tk)。

                    这个思路成立有个前提:模型确实只需要很少的 key。论文附录专门做了验证:在 128k token 下,让 Qwen3.8-27B 的每个 query 只看它「真正」最相关的 512 个 key(约占全部 key 的 0.8%),模型在 RULER 长上下文基准上仍能保留全注意力 98% 的精度。

                    但这里藏着一个悖论。索引器要想知道哪 512 个 key 最相关,就得先给每一个 key 打分。DeepSeek 的 DSA、MiniMax 的稀疏注意力,以及 GLM-5.3-Flash、Qwen 等模型采用的块稀疏方案,各自用了降低精度、减少维度、把 4 个 key 压成 1 个等办法给索引器「减负」,但这些改进只是把常数项除以了几倍,索引器的工作量依然随上下文线性增长,prefill 依然是二次方。

                    打个比方:你要从一座藏书千万册的图书馆里借 4096 本书,借书本身很快,麻烦的是为了确定借哪 4096 本,你得把每一本书的书脊都看一遍。书越多,看书脊的时间就越占大头。论文测算,在 10M token 下,如果索引器的开销能降为零,稀疏注意力的 prefill 还能再快 58 倍。

                    超长上下文下传统稀疏注意力的耗时构成(GLM-5.3-Flash 单个全局注意力层,单张 H200)。10M token 时,索引器占 prefill 总时间的 98%。

                    不按时间排,按语义排

                    LSA 的解法,是让索引器不再逐个检查 key,而是去检查「key 的分组」。

                    D-LSA 与 N-LSA 总览。上:一个注意力层中,key 先被池化并聚类成桶,query 只给桶中心打分,再只看被选中的远程 key(外加 sink 与滑动窗口);下:两种变体的精度与加速。

                    关键在于怎么分组。现有的块稀疏方法大多按位置分组,把相邻的几个 key 打成一个块。这相当于图书馆按入库时间把书装箱,每箱贴一张摘要。问题在于,一箱里只要有一本关键的书,就可能被其余几本无关书目的摘要「淹没」。

                    LSA 选择按内容分组。它先把 key 投影到一个经过学习的低维隐空间(latent space)里,再在这个空间中用层次聚类(Ward 方法)把语义相近的 key 归入同一个「桶」(bucket),每个桶只保留一个中心向量和一张记录桶内 key 位置的索引表。查询时,query 只需要和桶的中心向量打分,选出最相关的若干个桶,再把桶「展开」成具体的 key,凑满 k 个送进注意力。

                    回到图书馆的比方:书不再按入库日期装箱,而是按主题上架。要找关于量子纠错的书,直接走到那一排书架就行,同一主题的书可能是十年间陆续入库的,但它们挨在一起。

                    这一步的收益是常数级的,论文把它称为 Flat(扁平)搜索。真正改变复杂度的是 Tree(树)变体:桶之上再聚成更大的「节点桶」,层层向上形成一棵层次树。query 从树顶出发,每一层只保留得分最高的若干分支往下走(束搜索)。就像先选楼层、再选区域、再选书架,每个 query 只需检查 O(log T) 个中心向量,索引器的 prefill 从二次方降到了 O(T log T),这也是论文标题中「次二次方」(subquadratic)的由来。

                    D-LSA 设计。左为 Flat 搜索:key 经投影、池化、聚类后存入桶缓存,query 给桶中心打分并展开为 top-k 索引;右为 Tree 搜索:桶被组织成多层层次结构,query 用束搜索逐层下探。

                    两种用法:嫁接进已有模型,或者从头长出来

                    LSA 提供了两种落地方式。

                    第一种是 D-LSA(Distilled-LSA),面向已经训练好的模型。它冻结原模型的全部参数,每层只新增两个小投影矩阵,把 key 和 query 投到 64 维的索引空间,再通过蒸馏让 LSA 的打分去逼近原模型注意力的分布。整个蒸馏只用了 3.52 亿 token,作为参照,DeepSeek DSA 仅索引器的稠密预热阶段就用了 21 亿 token。论文还给出了一个完全免训练的版本,直接用 key 的主成分方向充当投影,在 Qwen3.8-27B 上与训练版本精度接近。

                    第二种是 N-LSA(Native-LSA),在预训练时就原生使用 LSA,只靠标准的下一 token 预测损失训练。它直接对注意力自己的 key 做聚类,不需要额外的索引投影、不需要教师模型,也不需要辅助损失,模型参数量一个不增。

                    N-LSA 设计。注意力层直接对自身的 key 聚类,可仅靠下一 token 预测损失从头训练。

                    工程层面,团队为聚类、打分、选择和展开写了面向 H200 和 B300 的 GPU kernel(另有可在任意 GPU 上运行的 Triton 版本),并把 LSA 整合进了 SGLang,支持张量并行、专家并行、流水线并行,以及 prefill 和 decode 阶段的上下文并行。

                    1000 万 token 下的成绩单

                    先看精度。团队在 Qwen3.8-27B(其注意力层为全注意力)和 GLM-5.3-Flash(自带稀疏注意力)两个模型上测试 D-LSA,并把上下文推到 10M token,远超两者官方给出的 1M 上限。在 MMLU-Pro、GPQA-Diamond、AIME25、MATH500、LongBench v2 等知识、推理和长上下文任务上,D-LSA 都落在基线的 95% 置信区间内,也没有明显改变模型的推理长度。

                    在 4k 到 10M token 的 RULER 上,Qwen3.8-27B 加 D-LSA 在 1M 以内与全注意力的差距不超过 5 分,到了 10M 反而以 63.9 比 59.9 反超。GLM-5.3-Flash 加 D-LSA 在 1M 以内与原生稀疏注意力相差 3 分以内,2M 到 5M 区间最多落后 8 分,10M 时差距回到 4 分以内。需要说明的是,GLM 的基线稀疏注意力是与模型一起训练的,而 D-LSA 只是在冻结模型上做了蒸馏,这个比较本身对基线有利。

                    为了在更真实的场景中检验超长上下文能力,团队还构建了一个新基准 PaperTrail。

                    它把一条条虚构的「研究线索」嵌进大量真实的 2026 年 arXiv 论文中:一篇虚构论文提出某个结果,若干真实论文中被插入引用它的段落,几周后另一篇虚构论文修正数值并给方法改名,而部分后续论文仍在引用旧值,就像真实的学术文献一样。模型需要像做文献综述那样找到并串联这些事实,10M 规模的样本包含近 400 到 465 篇论文。在这个基准上,Qwen3.8-27B 加 D-LSA 在 10M token 下得分 29.1,全注意力为 19.8。

                    D-LSA 在知识、推理与长上下文任务(最长 10M token)上的精度,与全注意力及稀疏注意力基线相当。

                    再看速度,这也是这项工作最醒目的部分。在 10M token 下,单个注意力层的 prefill,D-LSA 比 GLM-5.3-Flash 原生稀疏注意力快 22.7 倍,比 Qwen3.8-27B 的全注意力快 72.4 倍;decode 阶段分别快 4.6 倍和 42.5 倍。这个加速比随上下文增长而扩大,在 1M token 时,对 GLM-5.3-Flash 的 prefill 加速为 3.5 倍,512k 时只有 2.1 倍,因为上下文较短时逐块扫描本来就不贵。按趋势外推,Tree 变体在 1 亿 token 时预计比基线稀疏注意力快 90 倍以上。

                    单层加速传导到整个模型时会被稀释,因为模型中还有大量不受影响的其他层。在 SGLang 的实际部署中,10M token 下 D-LSA 让 GLM-5.3-Flash 的首 token 时间(TTFT)缩短 2.2 倍(上下文并行),从约 7.5 分钟降到约 3.4 分钟;让 Qwen3.8-27B 的首 token 时间缩短 9.2 倍,从约 76 分钟降到约 8 分钟。

                    索引本身的显存占用也更小。在 10M token 下,D-LSA 每层索引占 246 MiB,GLM-5.3-Flash 原生方案为 331 MiB,Qwen 风格的块稀疏方案为 642 MiB。

                    D-LSA 单个全局注意力层的加速比(对数坐标)、10M token 下的索引显存,以及外推至 100M token 的 prefill 耗时。

                    N-LSA 的实验规模要小得多。团队从头训练了一个约 5 亿参数的混合模型,24 层中每 4 层有 1 层是注意力层,其余为 Gated DeltaNet 线性注意力层,在 128k token 的上下文下进行退火训练。结果显示,N-LSA 的验证损失与全注意力完全持平(均为 1.085),而同等稀疏预算下的 PISA、NSA 和滑动窗口注意力分别为 1.100、1.117 和 1.154。在 128k 的 RULER 上,N-LSA 得分 32.2,全注意力为 34.7,NSA 和 PISA 则跌到 19.2 和 14.6。训练速度方面,单个注意力层的前向加反向在 128k 时比 FlashAttention-3 实现的全注意力快 1.6 倍。

                    N-LSA 训练加速。左:单个注意力层前向加反向的加速比;右:退火阶段整个模型的验证损失随训练时间的变化。

                    结语

                    过去几年,长上下文的竞争主线是让注意力「少看一点」。从固定的滑动窗口,到 DeepSeek 的 DSA,再到各家的块稀疏方案,行业已经基本证明了只看不到 1% 的 token 也能维持精度。LSA 指出的是下一个瓶颈:当「看」变得便宜,「找」就成了大头。

                    把注意力层改造成一个带层次索引的检索系统,这个方向并不新,Reformer、Routing Transformer 等早期工作都尝试过按内容组织 key,但此前鲜有方法在 1M 以上的规模上同时验证过精度和速度。随着 Agent 开始承担持续数天的科研、编程等长程任务,上下文窗口还会继续变长,届时决定成本曲线的,或许正是索引器的复杂度。

                    图片

                    © THE END 

                    转载请联系本公众号获得授权

                    投稿或寻求报道:liyazhou@jiqizhixin.com

                    跳转微信打开

                    训练一个强大的智能体,究竟有多简单?字节跳动等推出Axion 1.0

                    2026年11月17日 11:38

                    机器之心 2026-11-17 11:38 北京

                    能搜索资料、运行代码,还能完成多步科学研究任务——训练这样的智能体,究竟需要多少道工序?

                    中期训练、监督微调、偏好优化、在线策略蒸馏、强化学习…… 随着智能体能力不断增强,训练流程也变得越来越长。每增加一个环节,研究者就需要准备相应的数据,协调新的训练目标,再调试一套训练参数。

                    来自杜克大学、字节跳动、马里兰大学帕克分校和纽约州立大学布法罗分校的研究团队,推出了 Axion 1.0。其训练流程只包含两阶段监督微调(SFT)和强化学习(RL),没有额外安排中期训练(mid-training)、直接偏好优化(DPO)或在线策略蒸馏(OPD)。

                    凭借这套简洁的训练流程,Axion 1.0 展现出强势的科学推理和工具使用能力。论文报告,Axion 1.0-122B 在限制部分网站访问的完整 Humanity』s Last Exam(HLE)评测中取得 59.0%(超越 GPT-6),在 FrontierScience Research 上取得 66.7%;35B 版本在信息搜寻基准 SEAL-0 上取得 62.2%。

                    更重要的是,团队全面开源了数据构造、生成、筛选、验证、提示词及训练代码,向社区公开了完整训练方法。简洁的三阶段流程与透明的开源实现,让智能体基础模型的训练不再神秘,也让更多人能够训练自己的强大的智能体模型。

                    方法介绍

                    Axion 1.0 成功的关键,在于针对智能体所需的不同能力,构造高质量的训练数据。具体而言,Axion 1.0 将智能体的训练任务分为两类:一类根据题目提供的完整信息进行推理与计算,另一类需要借助工具获取缺失的外部信息,再结合证据完成推理。两个 SFT 阶段分别围绕这两类任务展开,让模型先提升推理能力,再学习如何获取和利用外部信息。

                    第一步 给已经会做的题增加挑战

                    第一阶段使用数学、物理、化学、生物和计算机科学等领域的题目,训练模型的多步推理与计算能力。然而,很多公开题目,基础模型已经能答对。继续用这些题目训练,怎样提供更多学习空间?Axion 1.0 的办法是,根据基础模型的作答表现,有针对性地提高题目难度。

                    研究团队首先对种子题进行难度增强:把原题的答案变成新问题中的中间量,让解题增加一层依赖。随后让基础模型尝试:答错的题目进入候选池;答对的题目,则连同成功解法一起交给生成模型,进一步增加难度。

                    例如,种子题目要求算出从 1 到 10 的和,新题目就可以把固定数值替换成参数,要求给出一般表达式;也可以扩大取值范围,让原来的枚举策略难以奏效。其他改写方式还包括增加依赖前一步结果的推理,以及引入需要分类讨论的条件,甚至是这些策略的组合。

                    每次改写后,参考答案都会重新验证,条件不足或答案不明确的题目被剔除。随后收集正确的解题轨迹,形成约 1.08 万条第一阶段 SFT 数据。这个阶段允许使用 Python,但不开放搜索和网页访问,让模型先学会处理题目内部的推理与计算。

                    第二步 让模型必须走出去寻找答案

                    除了较强的内部推理能力,智能体模型在遇到使用内部知识无法解答的题目时,还需要判断缺少什么信息、到哪里查找,以及如何把查到的内容用于推理。第二阶段的任务构造,正是围绕这些能力展开。

                    Axion 1.0 从公开结构化数据出发,由程序完成筛选、选定唯一实体和计算答案,再让语言模型把这个过程写成自然语言问题。参考答案在出题时就已经确定,便于之后验证模型是否真正做对了题目。

                    论文给出了一个直观示例:在有行星环的太阳系行星中,找出质量最小的一颗,再计算其平均密度。模型需要先确定天王星,查到质量和半径,最后完成计算。一个问题由此串起实体识别、事实检索和数值计算。

                    收集轨迹时,出题使用的数据库表和参考答案不会直接提供给模型;模型需要通过搜索、网页访问和 Python 得到所需信息。无需检索就能答对的问题也会被过滤。程序还会检查实体选择是否唯一、参数是否齐全,以及自然语言改写是否遗漏条件或泄露答案。最终,第二阶段保留约 7500 条正确工具交互轨迹。两阶段 SFT 都保留完整交互上下文,只对助手生成的推理、工具调用和回答计算训练损失。

                    第三步 在真实工具交互中继续学习

                    有了推理和工具使用的示范,35B 与 122B 主模型进一步使用异步 GRPO 进行强化学习,在搜索、网页访问、学术检索和 Python 环境中生成自己的解题轨迹。

                    RL 阶段最关键的设计是阶段性的奖励机制 (reward)。而这个实现又依赖于之前的数据构造的设计。程序化出题既能提供最终答案,也能记录解题过程中应得到的实体和数值。因此,模型最终答对时获得完整奖励;没有答对时,经过验证的中间进展仍可获得部分奖励,同时对未提交最终答案的情况施加惩罚。

                    中间进展也有先后依赖。例如,先选对实体,再获取参数,最后计算,后续步骤只有在前置步骤通过检查时才能计入进展。需要外部依据的实体识别,还必须得到工具观察的支持。这样,检索结果中偶然出现正确内容,不会直接被当作模型已经完成了推理。

                    实验结果

                    Axion 1.0 的两个主模型分别基于 Qwen3.6-35B-A3B 和 Qwen3.5-122B-A10B。团队在六项评测中观察其科学推理、信息搜寻和工具使用能力。

                    主要结果

                    • HLE:Axion 122B 取得 59.0%,高于论文列出的 GPT-6 Astra(57.2%)和 GPT-5.5(52.2%),接近 Claude Opus 5(63.6%)与 Claude Fable 5(63.8%)。

                    • FrontierScience Research:Axion 122B 取得 66.7%,超过 GPT-5.6 Sol(63.3%),也高于 GPT-5.5(26.7%)。

                    • FrontierScience Olympiad:122B 和 35B 版本分别取得 87.0% 和 86.0%,均超过 GPT-5.6 Sol(79.0%)和 Gemini 3.1 Pro(85.0%)。

                    • SEAL-0:35B 版本取得 62.2%,超过 GPT-5.6 Sol(53.2%)、Gemini 3.1 Pro(53.2%)和 Agents-A1(56.4%)。

                    • HiPhO:122B 版本取得 46.2%,高于 GPT-5.6 Sol(42.9%)和 GPT-5.5(43.3%)。

                    各训练阶段的效果

                    以 35B 模型为例,第一阶段 SFT 后,FrontierScience Olympiad 从 71.0% 提升至 83.0%,体现出科学推理能力的增强;第二阶段引入工具使用训练后,BioMysteryBench 从 17.6% 提升至 35.3%,FrontierScience Research 从 48.3% 提升至 58.3%;RL 则进一步将 SEAL-0 从 53.2% 提升至 62.2%。连续训练检查点的结果展示了模型从推理、信息获取到多步工具交互的能力提升过程。

                    不同基础模型

                    在 Qwen3.5-35B-A3B 和 Qwen3.6-35B-A3B 上应用了相同的两阶段 SFT 方法。训练前,两者在 HLE-130 上相差 9.2 个百分点;训练后,差距缩小至 0.8 个百分点,在 BioMysteryBench 上则均达到 35.3%。这些结果表明,Axion 1.0 的训练方法能够适用于不同底座,帮助起点较弱的模型显著缩小性能差距。

                    模型规模

                    Axion 1.0 的训练方法也被应用于 4B 和 9B 模型。仅经过两阶段 SFT,两个小模型在 HLE-130 上分别取得 53.1% 和 63.1%,在 FrontierScience Olympiad 上分别达到 81.0% 和 83.0%;9B 模型在 FrontierScience Research 上也取得了 55.0%。说明所构造的训练数据在较小模型上同样有效。

                    回到最初的问题:训练一个强大的智能体,究竟有多简单?Axion 1.0 展示了一条只包含两阶段 SFT 和 RL 的可行路径。支撑它的是经过设计和验证的学习任务:用模型已有的解法指导难度提升,用公开数据构造需要外部证据的问题,再通过工具交互中的奖励继续优化。

                    团队已公开数据构造及训练和测试代码。对于希望复现和改进智能体训练的研究者,这些材料提供了一个具体起点。

                    作者团队

                    作者团队来自杜克大学、字节跳动、马里兰大学帕克分校和纽约州立大学布法罗分校。

                    图片

                    © THE END 

                    转载请联系本公众号获得授权

                    投稿或寻求报道:liyazhou@jiqizhixin.com

                    跳转微信打开

                    ❌