铃阅时讯
❌

普通视图

火山引擎开源 Agent 驱动的搜索自迭代技术

2026年7月24日 17:30

原创 Viking AI 搜索 2026-07-24 17:30 北京

会调用搜索,只是Agent搜索能力的第一步。更难的是:当结果不好时,它能不能找到改进方向,并通过一轮轮实验把搜索变好?

假设你刚上线一个商品搜索应用:搜品牌、品类和型号基本正常,但用户输入“适合通勤的轻便双肩包”,结果就开始跑偏。

你提高语义召回权重,长句理解变好了,精确型号词却可能变差;提高关键词匹配门槛,前几条结果更准了,零结果又开始增加;放大候选集,召回更多了,噪声和延迟也可能随之上升。

很多搜索项目都会遇到类似的调优困境。问题不是没有参数可调,而是这些参数彼此影响:一次看似简单的修改,往往同时改变召回、排序、零结果率和延迟。要判断一组策略是否真的更好,还需要准备 Query、批量搜索、相关性标注、离线评测和 Bad Case 分析。

过去,这套工作依赖搜索专家反复试验。每一轮都能做,但很难低成本、可复现地持续做。

于是我们开始思考:既然 Agent 已经能够理解目标和调用搜索,它能不能再向前一步——根据当前数据和 Query 分布,自动提出候选策略,用实验验证收益,并告诉开发者“为什么这组配置更好”?

围绕这个问题,火山引擎在开源项目 SearchCLI 中开放了 vs search tune。开发者提供应用、数据集和 Query Set 后,Agent 可以调用它完成 Query 校验、实验规划、候选策略生成、批量搜索、相关性标注、指标计算、结果对比和候选 Scene 创建。

在服饰商品、综合商品和图片内容等三个业务数据集的阶段性离线评测中,自动调优策略相较默认策略,NDCG@20 提升 11.66%~13.50%,Precision@10 最高提升 21.17%。

这组结果首先说明了一件事:底层模型和数据不变时,仅仅围绕具体业务的 Query 分布重新组织召回模式、关键词与语义权重、匹配门槛和候选规模,也能释放出可观的效果空间。以上为阶段性离线结果,实际收益仍取决于 Query 代表性、标签质量和业务数据分布。

我们把这套能力称为:Agent驱动的搜索自迭代。

“自迭代”不是让 Agent 绕过控制、直接修改线上策略,而是把“发现问题—提出假设—分配评测预算—筛选候选—验证收益—输出候选配置”变成一套可以重复运行、结果可以审阅的闭环。

接下来,我们将拆解这套闭环如何运转,以及背后的 SPA 策略优化框架,如何在有限搜索和标注预算下,把更多实验机会留给真正有希望的策略。

一、从“会搜索”到“会把搜索变好”

一个 AI 搜索系统通常包含召回模式、关键词与语义权重、关键词匹配门槛、候选集规模等配置。参数越多,适配不同场景的能力越强,但人工调优的门槛也越高。

真正困难的不是修改某一个参数,而是持续回答:当前策略在哪些 Query 上不好?应该加强关键词还是语义召回?平均指标提升是否掩盖了某类 Query 的退化?新策略是否会增加零结果和延迟?

搜索自迭代把这套专家工作流转化为一个反馈闭环:

Query 与业务数据
  → 评测当前效果
  → 生成候选策略
  → 执行搜索与标注
  → 比较指标和 Bad Case
  → 输出候选配置
  → 人工确认后进入验证

这里的“自”指流程可以由 Agent 持续驱动;“迭代”指每一轮都有 Query、标签和指标作为证据。生产变更仍保留明确的人为边界。

二、为什么是 Agent + Skills + CLI?

搜索调优既包含上下文判断,也包含领域知识和大量确定性执行。我们将三类工作拆给不同层次:

组成

职责

Agent

理解目标、选择评测路径、解释结果并决定下一步

Skills

提供参数语义、调优边界、安全规则和标准工作流

SearchCLI

执行批量搜索、标注、缓存、指标计算、恢复和报告生成

例如,Agent 会先判断用户是否有真实 Query;没有时,才生成合成 Query 并交由用户审阅。昂贵评测前必须先执行 Plan,确认策略数、Query 数和最大标注量。最终应用策略时,也必须先 dry-run,再由用户确认是否创建候选 Scene。

一次完整调优可能包含数千次搜索请求和大量 Query-item 相关性判断。如果让 Agent 临时拼脚本,网络抖动、限流或进程中断都可能让结果丢失。CLI 的价值,是把这些长任务变成稳定命令和机器可读的运行产物,让 Agent 决定“做什么”,让执行层保证“可复现地做完”。

一次自迭代如何发生

第一步是准备 Query Set。真实搜索日志、客服问题和人工整理的典型 Query 最有价值;如果暂时没有,也可以从数据集样本生成合成 Query,但必须先展示样例和类型分布,由用户判断它们是否代表真实意图。

第二步是校验和规划。validate 会检查格式、重复 Query、类型倾斜和 sourceItemIds 覆盖率;plan 则在不调用搜索和 LLM 的情况下,提前计算策略数量、搜索请求数与最大标签量。用户可以在真正花费预算前缩小 Query Set、减少候选或先选择低成本标签。

第三步是运行和复核。CLI 对每个候选执行批量搜索,先用 Source-item 银标快速筛选,或直接使用 LLM Judge 进行语义相关性判断,再计算 NDCG、MRR、Precision、零结果率和延迟。报告不仅给出推荐策略,也保留每条 Query 的明细,方便 Agent 解释收益来自哪里、是否存在退化。

最后,Agent 可以比较不同 Run,并把确认后的推荐配置转成候选 Scene。整个过程对应 query-generate → validate → plan → run → report → compare → apply,每一步都有结构化输入、输出和检查点。

三、SPA:把预算花在更值得评测的策略上

搜索调优看起来像参数优化,实质上却是一个评测成本高、反馈有噪声、参数存在约束、结果还必须可解释和可落地的实验设计问题。

候选策略、Query 数量和 TopK 增加后,最坏情况下的标注量近似为:

strategy_count × query_count × topK

因此,算法的核心任务不是生成尽可能多的组合,而是决定:哪些策略值得先测,哪些应尽早淘汰,下一轮沿什么方向探索,以及何时已经有足够证据停止。

SPA(Strategy Population Annealing)把搜索策略编码为带领域语义的 Genome,以专家先验构造初始种群,通过多保真评测、多视角 Elite、语义化进化和退火机制分配预算,再用鲁棒统计选出稳定、可解释的候选策略。

1. Genome:搜索参数不是普通数值向量

{
"user_defined_recall_mode": "KeywordSemantic",
"dense_weight": 0.25,
"text_weight": 0.75,
"query_keyword_match_percent": 0.3,
"max_retrieved_num": 100
}

这组参数既有枚举值,也有近似连续值和请求侧参数;同时还存在约束,例如 dense_weight 与 text_weight 需要归一,不同召回模式下参数含义也不同。SPA 的交叉、变异和移动都必须先理解这些语义,生成后还要经过裁剪、归一化、合法性校验和去重,才能转化为可执行配置。

第一阶段聚焦 similarity-only:只优化召回模式、关键词/语义权重、关键词匹配比例和最大候选数,不同时调整 Rerank、个性化、热度或运营规则。这样才能把效果变化归因到文本相关性策略本身。

2. 初始种群:覆盖搜索行为,而不是平均撒点

Matrix Optimizer 会在若干固定档位上组合参数,优点是简单、稳定;缺点是不同参数不一定产生不同搜索行为,有限预算可能被大量相近或低价值组合占用。

SPA 的初始种群由当前策略、默认 Baseline、KeywordOnly / SemanticOnly 等边界策略、粗粒度 Matrix 和行业 Prior 组成。商品搜索可以多保留关键词主导的混合策略,知识库问答则保留更多语义增强分支。算法从有意义的行为区域出发,而不是从随机点开始。

当前开源首版已实现这一层:基于多个代表性中心,建立粗、细两种搜索半径,生成边界、中心和邻域候选,再执行合法化与去重。粗粒度邻域用于判断方向,细粒度邻域用于比较局部差异。

3. 多保真评测:先排除错误方向,再提高置信度

完整设计将评测分为三层:

阶段

评测方式

目的

Fast Pass

小 Query Set + Source-item 银标

淘汰明显无效策略

Middle Pass

按 Query 类型扩大评测

识别只在局部场景有效的策略

Confirm Pass

完整 Query Set + LLM Judge / 人工标签

高置信确认最终候选

如果一个策略连生成 Query 的源 Item 都召不回来,就没必要继续为它的 Top20 结果支付 LLM 标注成本。反过来,Fast Pass 高分也不能直接胜出:它还要证明收益不是只集中在标题改写等少数 Query 类型上。

4. 多视角 Elite:保留一条策略前沿

只按平均 NDCG 选 TopN 很危险。某个策略可能在短词 Query 上很强,却让自然语言 Query 明显退化;另一个策略平均分略低,但零结果率、延迟和分类型表现更稳定。

因此,SPA 同时保留 Global Best、Query-Type Best、Stable Best、Low-Latency Best、Low-Zero-Result Best、Baseline-Improver 和差异足够大的 Diverse Candidate。每个 Elite 都回答一个问题:它为什么值得继续消耗预算?这比单一排名更能防止种群过早塌缩。

5. 语义化进化与种群退火

下一代候选来自三类动作。交叉会组合两个 Elite 中已被验证的有效结构,例如采用策略 A 的关键词/语义权重和策略 B 的关键词门槛;局部变异会在优秀策略附近调整权重、候选规模或匹配比例;方向移动则让候选向全局最优或某类 Query 的局部最优靠近。

这些动作都不是随机拼 JSON。例如,高关键词门槛导致零结果上升时,下一代会降低门槛;候选数从 100 增加到 200 没有提升却增加延迟时,搜索会向较小规模收敛。

退火温度控制探索幅度:早期温度高,允许接受少量当前略差但差异较大的策略;中期围绕 Elite 交叉和变异,同时保留边界探针;后期温度降低,只在高价值区域细调。与单点模拟退火不同,SPA 同时保留多个策略分支,因此既能跳出局部最优,也不容易被一次随机移动带偏。

6. 鲁棒目标:不被一次高分欺骗

RobustScore =
  NDCG@20
  + α × MRR@10
  - β × zero_result_rate
  - γ × latency_penalty
  - δ × query_type_variance
  - ε × confidence_interval_width

NDCG 衡量整体排序,MRR 强调首个高相关结果的位置;零结果率和延迟是落地约束;Query 类型方差用于惩罚“只在少数类型上好”的策略。置信区间可通过 Bootstrap 得到:对 Query Set 多次重采样,如果一个策略均值高但区间很宽,说明它可能只是碰巧在这批 Query 上表现好。

因此,完整 SPA 要找的不是一次实验中的最高分,而是在 Query 分布和 Judge 噪声下仍然稳定的策略。

四、实验结果

实验比较自动调优策略与默认策略。在三个不同业务数据集上,

  • NDCG@20 提升 11.66%~13.50%

  • NDCG@10 提升 9.56%~15.08%

  • MRR@10 提升 7.74%~14.95%

  • Precision@10 提升 7.36%~21.17%。

五、让算法真正可用的 CLI 工程层

算法决定评估什么,工程层决定实验能否稳定完成。SearchCLI 重点沉淀了四类能力。

Plan:先把实验成本编译出来。vs search tune plan 不实际调用搜索或 LLM,而是提前给出 Query 数、候选策略数、预计搜索请求和最大标注量,让 Agent 在昂贵任务开始前缩小范围或调整标签来源。

受控并发:把长任务拆成小任务。  当前开源实现将评测拆为 strategy × query 任务,并采用有界批次调度;每批通过 Promise.allSettled 汇总结果,单个失败不会丢掉同批已完成的数据,也不会无限放大请求。任务队列与 Worker Pool 是后续可继续演进的方向。

标签缓存:让 LLM 判断成为可复用资产。  不同策略经常召回相同 Item。SearchCLI 的缓存 Key 同时包含数据集、Query、Item 内容和 Judge 配置;只有这些信息一致时才复用,内容或评测标准变化后旧标签会自然失效,从而在节省成本的同时避免误用历史结果。

Checkpoint / Resume:中断后接着跑。  CLI 会持续保存运行状态、搜索结果、已用标签、失败记录、中间指标和性能摘要。任务中断后,Agent 可以使用原 Run ID 继续未完成部分,不必重新支付已经完成的搜索与标注成本。

最终的 apply 也保留安全边界:先 dry-run 展示配置,获得确认后只创建新的候选 Scene,不会自动切换默认入口。自动化减少的是重复劳动,不是取消人的业务判断。

六、快速开始

SearchCLI 要求 Node.js 20 或更高版本,并采用 Apache-2.0 License 开源。安装 CLI 与 Viking Skills:

git clone git@github.com:volcengine/SearchCLI.git vs
cd vs
bash ./scripts/install.sh
npx skills add "git@github.com:volcengine/SearchCLI.git" -y -g
vs auth login
vs doctor --json

Agent可以通过以下指令进行调优:

vs search tune validate --queries ./queries.jsonl --json
vs search tune plan \
  --application-id <application-id> \
  --dataset-id <dataset-id> \
  --queries ./queries.jsonl \
  --profile similarity-only \
  --optimizer spa \
  --json
vs search tune run \
  --application-id <application-id> \
  --dataset-id <dataset-id> \
  --queries ./queries.jsonl \
  --profile similarity-only \
  --optimizer spa \
  --label-source llm \
  --json
vs search tune report --run-id <run-id> --json

项目地址:https://github.com/volcengine/SearchCLI

结语

Agent 时代,搜索系统面对的问题正在从“能不能提供足够多的策略参数”,转向“能不能根据当前数据和 Query,持续找到更适合的策略”。

SearchCLI 给出的答案,是用 Skills 沉淀搜索专家知识,用 CLI 承担确定性实验,用 SPA 提高评测预算的有效性,再由 Agent 把它们组织成一个可审阅的闭环。

从“可调用”到“可评测”,从“可配置”到“可迭代”。

这正是我们开源 Agent 驱动搜索自迭代技术的初衷。

未来,Viking AI搜将推出更多能力,和我们一起,让搜索变得更简单、让自迭代这件事持续向前!

点击「阅读原文」,立即体验

阅读原文

跳转微信打开

CVPR 2026 Highlight 丨 用“几何感知”把扩散 Transformer 采样做成免训练加速器

2026年7月24日 12:00

原创 AI 2026-07-24 12:00 上海

扩散采样不是在平直空间里走直线,而是在模型学到的弯曲特征流形上前进。

前言

扩散模型已经成为图像生成和视频生成中最重要的一类基础模型。从 DiT 到 FLUX,再到 HunyuanVideo,越来越多的高质量生成系统都依赖扩散 Transformer 来逐步完成从噪声到图像、从噪声到视频的生成过程。

但一个非常现实的问题是:扩散模型很慢。

这种慢并不是因为单次前向传播特别复杂,而是因为生成过程通常需要很多轮连续去噪。每一步都要调用一次大模型,几十步甚至上百步串行执行下来,推理延迟和计算成本都会变得很高。对于交互式图像生成、视频生成、移动端部署或大规模内容生产来说,这种成本很难忽视。

一个很自然的问题于是出现了:

既然扩散模型慢在采样步数多,那能不能直接少采几步?

直觉上,这似乎是最直接的加速方式。但在实际系统中,粗暴减少采样步数往往会带来明显的质量下降:图像结构变形、语义不稳、细节丢失,视频中还可能出现闪烁和运动不连续。

也就是说,扩散模型加速并不是简单地“少算几步”。真正困难的是:

如何在大步采样时,仍然让生成轨迹沿着模型学到的正确方向演化?

我们的论文 GeoRK2: Geometry-Guided Runge-Kutta Integration for Diffusion Transformer Acceleration 正是围绕这个问题展开。目前文章已被CVPR2026收录为HIGHLIGHT。GeoRK2 是一个免训练、可插拔的扩散 Transformer 加速框架。它把数值积分中的二阶 Runge-Kutta 方法和深度特征空间中的几何结构结合起来,使扩散采样在更少计算下仍然保持稳定的生成质量。

简单来说,GeoRK2 的核心思想是:

扩散采样不是在平直空间里走直线,而是在模型学到的弯曲特征流形上前进。加速采样时,必须尊重这个几何结构。

图片 1 - 多种方法在多个提示词下生成图像的可视化结果。在高加速比下,FORA 和 TaylorSeer 等方法会出现不同程度的图像质量下降,而 GeoRK2 仍能保持更优的性能。

动机:为什么扩散模型一加速就容易“跑偏”?

传统扩散采样器通常把去噪过程看成一个普通的数值积分问题。给定当前噪声状态,模型预测下一步应该往哪里走,然后采样器沿着这个方向推进。

在 DDIM、DPM-Solver 以及很多后续加速方法中,一个隐含假设是:

扩散状态的演化发生在一个近似平直的欧氏空间中。

如果这个假设成立,那么大步采样就可以被理解为在平直空间中做更大的跳跃。只要数值积分公式足够高阶,采样轨迹就应该能够保持稳定。

但扩散 Transformer 的内部特征并不是这样工作的。

我们在 DiT-XL/2 和 FLUX.1-dev 的中间激活上观察到一个非常明显的现象:模型的特征变化高度集中在少数主方向上。换句话说,虽然特征向量位于一个高维空间中,但真正承载主要变化的方向其实很少。

论文中的激活谱分析显示,前 64 个主方向已经能够解释超过 99% 的特征方差。这说明扩散 Transformer 的去噪过程更像是在一个低维、弯曲的特征流形上运动,而不是在整个高维欧氏空间中自由移动。

图片 2 - 主导方向解释的方差。针对 (a) DiT-XL/2 和 (b) FLUX.1-dev 的热力图显示,前 64 个主成分方向解释了超过 99% 的方差。

这带来一个关键问题:

当采样步长变大时,如果仍然使用普通欧氏空间中的直线外推,轨迹就可能逐渐偏离模型真正学到的特征流形。我们把这种现象称为:

manifold drift,流形漂移。

直观来说,模型知道一张图像应该如何从噪声中逐步成形,但这个过程发生在它内部学到的特征几何结构上。普通加速方法只看到“往前走”,却没有看到“应该沿着哪条弯曲的路走”。当步子迈得很大时,轨迹就容易切过流形曲率,而不是贴着流形前进。

图片 3 - (a) GeoRK2 遵循内在流形几何结构,相比忽略曲率的欧氏空间预测方法,能够生成更平滑且更忠实的特征轨迹。 (b) 在大步长条件下,GeoRK2 仍保持稳定,而与几何无关的预测器会因误差快速累积而性能受损。

最终表现出来的就是:

  • 图像结构开始扭曲;

  • 语义条件逐渐变弱;

  • 局部纹理和全局布局不一致;

  • 视频生成中出现帧间闪烁和运动不连续。

因此,扩散 Transformer 加速的核心矛盾可以概括为:

我们想减少采样步数,但不能让采样轨迹偏离模型学到的特征流形。

GeoRK2 的出发点,就是把这个被忽略的几何问题显式建模出来。

方法:GeoRK2 = 几何感知预测 + 

流形校正 + 自适应稳定

图片 4 - GeoRK2 通过将黎曼积分嵌入 Transformer 推理流程,实现具有几何感知能力的扩散采样。(左)预测阶段利用缓存的激活值,在较大时间间隔上外推潜在动态;校正阶段则在局部构建的几何流形上细化轨迹。(右)在每个 Transformer 块内,GeoRK2 引入轻量级的预测-校正模块,用曲率感知的二阶积分替代现有采样器(如 DDIM、DPM-Solver)的默认数值更新,从而在无需重新训练的情况下实现稳定且加速的生成。

GeoRK2 的方法设计可以用一句话概括:

在 RK2 二阶积分的基础上,用模型内部激活估计局部特征几何,并用这个几何结构约束大步采样。

从整体上看,GeoRK2 包含三个核心模块:

1.  几何感知的 RK2 预测;

2.  低秩度量预条件校正;

3.  自适应稳定机制。

下面分别来看。

1. 几何感知 RK2:不是直接外推,

而是沿主特征方向外推

Runge-Kutta 方法是经典数值积分中的一类高阶方法。普通的一阶方法只看当前位置的速度,而 RK2 会额外估计一个中点,从而更准确地预测下一步状态。

在扩散采样中,这意味着:

不要只根据当前一步的方向前进,而是先估计中间位置,再用中间位置的方向来决定大步更新。

但 GeoRK2 并不是直接把标准 RK2 套到扩散 Transformer 上。原因在于,高维特征空间中并不是所有方向都同样可靠。很多方向可能只是噪声,或者并不位于模型真正使用的特征流形上。

因此,GeoRK2 在做中点预测时,会先把更新投影到主导特征子空间中:

    h_mid = Projection(h_t + step / 2 * v_t)

    这里的 Projection 不是任意设计的,而是来自模型中间激活的低秩主方向。也就是说,GeoRK2 会先问模型:

    当前这个阶段,哪些特征方向才是真正重要的?

    然后只在这些方向上进行大步预测。

    这样做的直观效果是:

    • 保留模型最有信心的主要变化方向;

    • 抑制偏离流形的噪声方向;

    • 避免大步采样时轨迹漂到不可靠区域。

    可以把它理解成:普通 RK2 是“往前走得更准”,而 GeoRK2 是“沿着模型认为可靠的路往前走”。

    2. 低秩几何校正:用激活协方差

    估计模型内部的局部度量

    只做投影还不够。因为扩散模型的去噪过程并不是一条直线,而是在不同噪声阶段经历不同曲率的轨迹。特别是在高噪声向低噪声过渡时,特征空间的几何结构会发生明显变化。

    为了解决这个问题,GeoRK2 会从模型的中间激活中构造局部协方差矩阵:

      G_t = covariance(H_t) + epsilon * I

      这个矩阵可以理解为当前特征空间的一个局部“几何度量”。大特征值方向表示模型在这些方向上变化强、结构敏感,更新时需要更加谨慎;小特征值方向则表示变化较平坦,可以更放心地加速。

      但直接使用完整协方差矩阵代价很高。对于扩散 Transformer 的中间层来说,完整矩阵求逆会带来明显计算开销。

      GeoRK2 的关键工程设计是:只保留低秩主方向。

      由于论文中观察到 top-64 主方向已经解释超过 99% 的方差,GeoRK2 使用截断 SVD 来近似这个几何度量。这样既保留了最重要的特征几何,又把复杂度控制在可接受范围内。

      在得到低秩几何度量之后,GeoRK2 会对预测结果做一次 metric-preconditioned correction:

        geometry correction = - lambda * G_inverse * prediction_error

        直观来说,这一步是在问:

        当前预测结果和模型真正希望的去噪方向之间还有多少偏差?这个偏差应该按照特征流形的几何结构如何修正?

        这就是 GeoRK2 中的“几何校正”。

        它不是重新训练模型,也不是额外学习一个校正网络,而是直接利用预训练模型内部已有的激活统计来完成校正。

        为了进一步降低开销,GeoRK2 还使用 Woodbury identity 来高效计算低秩矩阵逆,并且每隔若干步更新一次 metric,而不是每一步都完整重算。

        3. 自适应稳定:

        遇到剧烈阶段切换时及时刹车

        扩散采样过程并不是平稳的。

        在早期高噪声阶段,模型主要决定全局布局和大致语义;在后期低噪声阶段,模型开始细化纹理、边缘和局部细节。不同阶段之间的过渡往往会带来速度和加速度的突变。

        如果加速方法在这些位置仍然激进外推,就可能出现不稳定。

        因此,GeoRK2 加入了一个非常简洁的自适应稳定机制。它会监测当前采样轨迹的加速度方差:

          ifVar(a_t) suddenly increases:
              use conservative fallback
          else:
              use geometry-aware RK2 prediction

          当检测到状态变化过于剧烈时,GeoRK2 会暂时退回到更保守的两点外推,避免错误被快速放大。最后还会使用 momentum mixing 对输出进行平滑:

            h_out = rho * corrected_prediction + (1 - rho) * h_t

            这一步的作用不是让方法变复杂,而是让几何积分在真实模型中更加稳健。

            论文中也观察到,这个 rollback 机制主要在高加速设置下的关键时间段触发,例如 FLUX 中从概念布局转向细节 refinement 的阶段。它带来的额外开销很小,但可以显著降低发散风险。

            工程上是否可落地?

            GeoRK2 的一个重要特点是:它不需要重新训练模型,也不需要修改模型结构。

            它更像是一个轻量级 PyTorch wrapper,在推理时拦截中间激活,估计局部几何结构,然后替换或增强原本的采样更新。

            从复杂度上看,GeoRK2 的额外开销主要来自三部分:

            • 主特征方向投影;

            • 低秩 metric correction;

            • 周期性截断 SVD。

            论文中的 profiling 显示,在 DiT-XL/2 上,当截断秩取 64 时:

            • projection step 约 0.014 TFLOPs;

            • metric-preconditioned inversion 约 0.022 TFLOPs;

            • amortized truncated SVD 每步约 0.011 TFLOPs;

            • 总额外 FLOPs 约 5.1%;

            • 实测每步 wall-clock overhead 约 3.8%。

            考虑到 GeoRK2 能够带来 4-5 倍级别的整体采样加速,这个额外开销是很小的。

            更重要的是,它的超参数并不敏感。论文中使用同一组配置:

              lambda = 0.1
              rho = 0.85
              beta = 0.9
              rank = 64

              就可以在 DiT-S/2、DiT-B/2、DiT-XL/2 等模型上稳定工作。这说明 GeoRK2 不是依赖精细调参的特定技巧,而是利用了扩散 Transformer 特征几何中的普遍结构。

              实验结果:

              4-5 倍加速下保持高质量生成

              为了验证 GeoRK2 的效果,论文在三个代表性场景上进行了实验:

              • ImageNet-256 上的 class-conditional image generation,使用 DiT-XL/2;

              • DrawBench 上的 text-to-image generation,使用 FLUX.1-dev;

              • VBench 上的 text-to-video generation,使用 HunyuanVideo。

              对比方法包括传统采样器 DDIM、DPM++,以及多种扩散 Transformer 加速方法,例如 FORA、TaylorSeer、ToCa、SmoothCache、TeaCache、DBCache 等。

              1. ImageNet-256:

              高加速下仍保持较低 FID

              在 ImageNet-256 + DiT-XL/2 上,GeoRK2 在多个加速档位下都取得了较好的速度-质量权衡。

              例如:

              • GeoRK2(N=2) 将延迟从 8.38s 降到 4.42s,达到 1.95x 加速,同时 FID 为 2.41;

              • GeoRK2(N=3) 在 2.70x 加速下取得 FID 2.67;

              • GeoRK2(N=8) 在 4.92x 加速下仍保持 FID 3.32。

              相比之下,很多方法在类似高加速设置下 FID 会明显上升。这说明在 aggressive acceleration 下,几何感知积分能够更好地保持采样轨迹稳定。

              表格 1 - 使用 DiT-XL/2 在 ImageNet-256 上的定量比较。结果为 5 次运行的平均值。Speed表示相对于 DDIM-50 的加速倍数。

              2. FLUX.1-dev:

              复杂文本条件下保持语义一致性

              在 FLUX.1-dev + DrawBench 上,GeoRK2 的优势尤其体现在语义一致性上。

              在 NFE=50 设置下:

              • GeoRK2(N=5) 达到 3.52x latency speedup,ImageReward 为 0.9889,CLIP Score 为 34.963;

              • GeoRK2(N=7) 达到 4.06x latency speedup,仍保持 ImageReward 0.9792;

              • GeoRK2(N=8) 达到 4.39x latency speedup,CLIP Score 仍保持在 33.476。

              这一点很重要。因为文本到图像生成不仅要求图像清晰,还要求模型正确理解 prompt。部分缓存类方法虽然也能加速,但在复杂文本条件下更容易损失语义一致性。

              GeoRK2 通过几何约束保持中间特征轨迹稳定,因此在大步采样时更不容易偏离文本条件所对应的生成方向。

              表格 2 - 在 FLUX.1-dev 上的比较。结果为 5 次运行的平均值。Speed 表示相对于 50 步参考方法的加速倍数。

              3. HunyuanVideo:

              视频生成中的时序稳定性

              视频生成比图像生成更难加速。因为模型不仅要保证单帧质量,还要保证帧与帧之间的运动连续性。

              在 HunyuanVideo + VBench 上,GeoRK2(N=8) 达到:

              • latency 从 323.89s 降到 69.44s;

              • latency speedup 为 4.66x;

              • FLOPs speedup 为 6.77x;

              • VBench Score 为 80.73。

              相比其他加速方法,GeoRK2 在高加速下更好地保持了时间一致性。论文中也指出,一些方法虽然单帧质量尚可,但会出现可见 flickering,而 GeoRK2 的几何度量估计能够更自然地适配时空注意力特征。

              表格 3 - 在 HunyuanVideo 上基于 VBench 的比较。结果为 5 次运行的平均值。Speed 表示相对于 50 步基线方法的加速倍数。

              消融实验:每个组件都在发挥作用

              为了验证 GeoRK2 的设计是否必要,论文还做了系统消融。

              在 DiT-XL/2 上:

              • 完整 GeoRK2 的 FID 为 2.31;

              • 去掉 geometry correction 后,FID 上升到 3.02;

              • 去掉 RK2、改用 Euler 后,FID 上升到 2.87;

              • 去掉欧氏预测相关设计后,FID 上升到 3.41。

              这说明 GeoRK2 的优势不是来自某一个单独 trick,而是来自三个部分的协同:

              二阶预测负责更准确地大步前进,几何校正负责把轨迹拉回流形,自适应稳定负责避免阶段切换时发散。

              DiT-XL/2 上的受控消融实验(N=3)。FID degradation 表示相对于完整 GeoRK2 的 FID 相对增加幅度。

              表格 4 - DiT-XL/2 上的受控消融实验(N=3)。FID degradation 表示相对于完整 GeoRK2 的 FID 相对增加幅度。

              论文还分析了截断秩的影响。结果显示,从较低 rank 增加到 64 时质量明显提升,但继续增加到 128 后收益变小。这与前面的谱分析一致:主导特征方向已经覆盖了大部分有效几何信息。

              图片 5 - 截断秩对特征重建的影响。散点图比较了在 1/64、1/32、1/16、1/8 比例下的原始特征与低秩特征,结果显示较高秩时与恒等线的对齐更紧密,并在 1/64–1/32 处趋于饱和,这与 FID 饱和以及捕获 99\% 谱能量的现象一致。

              总结

              GeoRK2 的核心贡献,并不是简单提出一个新的采样器,而是把扩散 Transformer 加速中的一个关键问题讲清楚:

              高倍采样加速失败的原因,往往不是数值阶数不够,而是采样轨迹偏离了模型内部学到的弯曲特征流形。

              从这个视角出发,GeoRK2 做了三件事情。

              第一,从现象上,它指出了 aggressive acceleration 下的 manifold drift 问题:普通欧氏空间外推会让去噪轨迹逐渐偏离模型真实的特征几何。

              第二,从方法上,它把二阶 Runge-Kutta 积分和 Riemannian feature geometry 结合起来,用激活协方差估计局部度量,并通过低秩投影和 metric correction 保持采样轨迹稳定。

              第三,从工程上,它保持了非常克制的设计:不重新训练、不修改模型结构,只作为 plug-and-play 推理模块接入现有扩散 Transformer,并在 DiT、FLUX、HunyuanVideo 上实现 4-5x 级别加速。

              对于正在做图像生成、视频生成或扩散模型推理优化的团队来说,这项工作的启发是:

              扩散模型加速不只是减少采样步数,而是要让每一次大步更新都沿着模型学到的几何结构前进。

              当我们把特征流形的几何信息纳入采样器设计时,大模型生成就可以在更低成本下保持更稳定的质量。

              -End-

              作者丨五角场打工王、争气尾流

              跳转微信打开

              【早说】别急着教设计师用AI——先给他们一个敢当新手的地方

              2026年7月24日 09:00

              Sheila Kazan 2026-07-24 09:00 日本

              当 AI 浪潮席卷而来,Slack 设计团队没有选择自上而下的培训,而是搭建了一个允许困惑、鼓励探索的学习社群

              前言

              当 AI 浪潮席卷而来,Slack 设计团队没有选择自上而下的培训,而是搭建了一个允许困惑、鼓励探索的学习社群。因为比工具更重要的,是让每个人都敢迈出第一步。

              今日前端早读课文章由 @Sheila Kazan 分享,@飘飘编译。

              用于解决实际工作中的 新技能团队普及 / 跨职能协同创新 问题,最值得借鉴的一点是:不要从工具 Enablement 开始,要从人开始。提供一个容许失败、没有评判的 “集装箱(Container)”,让走得快一步的人带着新手一起跑。

              译文从这开始~~

              不断听到的问题

              "AI 到底怎么用?"

              这个问题是在私信里悄悄打出来的,而不是当众问出口的 —— 这本身就说明了一切。我们的设计团队从不缺好奇心,缺的是一个可以安心当 "新手" 的地方。一个不懂不会被视为短板、反而恰恰是存在意义的空间。于是我们创建了这样一个空间。秉承 Slack 一贯的风格,我们 AI 的起源故事始于一个 Slack 频道和满腔热情。

              2025 年初,整体氛围还是探索性的。AI 感觉像是远方地平线上一件酷炫的新事物,值得上手摸一摸。我们开了一个频道,给有兴趣的人安排了一些工具上手培训,也办了几场分享会。那时候的心态就是 "先玩玩看"—— 压力不大,好奇心很足。非常 Slack Design 的气质。

              然后,2026 年来了。

              AI 一夜之间不再是 "未来的事",而是 "眼前的事"。工程师已经跑起来了,跑得飞快。设计师必须跟上节奏 —— 是 "并肩跑",不是 "跟在后面追"。正是在这个节点上,"Builder Days"(共建日)应运而生:三天时间,设计师、工程师和产品经理放下各自的路线图,用 AI 一起动手造东西。团队的情绪从好奇悄然转变为一种带着紧迫感的共识:我们必须做好准备。

              作为一名设计运营人员,我特别关注学习项目以及变革中的人性化层面,因此我看到了一个帮助的机会。不是要强加任何规定,而是创造一个空间,让充满好奇心的设计师能够真正、切实地做好准备,带着可以贡献的内容参加 Builder Days,而不仅仅是作为旁观者。

              这就是那个故事。我们做了什么,学到了什么,哪些事情让我们感到惊讶,以及我们想告诉任何正在努力寻找自身定位的设计团队 —— 当一切同时开始变化时,该如何应对。

              为设计而生,因设计而创

              问题不在于学习机会太少,恰恰相反 —— 太多了。各种工具培训像潮水一样涌进日程安排,但几乎没有一个是为设计师量身定制的。大多数课程面向工程师,我们不过是顺便旁听而已。还有一个棘手之处:一切变化太快,周一写的操作指南,到周五就过时了。

              于是我们决定搭建自己的 AI 赋能课程体系 —— 为设计师而生,由设计师打造。

              这句话成了我们的北极星。从一位设计师同行口中听到 AI 工具能做什么,和从一位工程师那里听到,感受是截然不同的。这不是布道,而是一种 "许可"—— 对于团队中那些仍在观望、等待被说服的设计师来说,这个区别比我们预想的重要得多。

              我们的课程并不精致。但说实话,这正是重点所在。

              我们开设了一个名为 "会 Vibe 的设计师 & AI" 的周五系列活动,而最令人难忘的瞬间,从来不是精心准备的演示。它们发生在有人突然插嘴提问的时候,发生在有人大方共享屏幕(一堆标签页全暴露在外)的时候,发生在我们一起即兴摸索、实时解决问题的时候。没有脚本,只有大声说出来的好奇心。

              我们学习的这个东西,变化之快远超任何指南的更新速度。所以,与其假装胸有成竹,不如拥抱那个真正管用的方法:提出问题,动手尝试,卡住了 —— 就去问 AI。

              让 AI 教你怎么用 AI。这成了我们的信条之一。

              三天,没有路线图,只管动手造

              Builder Days 的设计初衷就是刻意开放的:来就行,找到你的跨职能搭档,用 AI 造点什么出来。概念上很简单,实践起来却不容易 —— 尤其当技术和协作模式同时都是全新的时候。

              所以我们帮助设计师提前做好了准备。我们分享了其他设计师的思路和方法,让每个人都不必独自摸索。我们编写了一份《设计师 Builder Days 指南》—— 一站式资源手册,涵盖你会遇到什么、对你有什么期待、以及去哪里找灵感。手册里甚至还有一个术语释义板块,专为那些需要一个不讲行话的答案来回应 "等等,终端是什么?" 的人准备。

              我们还重新定义了 "成功" 的标准。Builder Days 的目的不是让 AI 为你所用 —— 而是去了解它什么时候行、什么时候不行。找到边界,才是真正的意义所在。我们甚至专门为 Builder Days 开设了一个临时支持频道:卡住了就问,团队里马上有人来帮忙。没有评判,没有门槛。

              而当一位设计师在令人抓狂的提示词循环里越陷越深,最终坦言自己只想出去 "摸摸草坪透透气" 的时候 —— 我们也把这算作一个发现。说到底,我们终究是人,这一点永远不能忘。

              在 Builder Days 之前,学习是零星发生的。Builder Days 催生了一种不同的东西 —— 我们看到的场面既混乱又充满能量,二者势均力敌。那些一直潜水的设计师终于有了一个 "不得不动" 的推力;那些围绕 AI 整合观望了数月的团队,也再无退路,只能放手一试。有些东西搞砸了,但更多的东西以意想不到的方式给人惊喜。

              然而,真正的学习发生在 Builder Days 之后。我们召集了一群经历各异的设计师,问他们到底学到了什么。答案坦诚而犀利,恰到好处地 "辛辣"。

              • 人的判断力不可妥协:AI 输出的速度越快,就越需要相应提升协调、沟通和人工把关的力度 —— 而不是减少。

              • 前期规划决定一切:表现出色的团队从第一天起就有清晰的计划 —— 明确的分工、共享的协作模式,以及尽早且频繁的进度同步。

              • "缰绳" 和模型同等重要:光有一个好模型远远不够。在 "缰绳" 上下功夫 —— 提示词、claude.md 配置、技能库和文档 —— 才是释放产品级 AI 产出的关键。

              • 协作模式正在发生转变:AI 正在将协作的重心从优化异步工作,转向投入更多时间在真正有价值的事情上:做决策、头脑风暴和共同构想。

              有一位设计师用她的三天时间,试图理解自己与 AI 之间的关系。不是为了做出什么成果展示,不是为了优化某个工作流 —— 只是安静地坐在它面前,向它抛出那些难以回答的问题。她的结论?"这很复杂。"

              你知道吗?这完全没问题。这同样是一个非常有价值的发现。并非每位设计师都带着一个可运行的原型或一个合并的 PR 离开。有些人带走的东西更难衡量,却更为重要:对自己与这项技术之间关系的一份更清晰的认知 —— 什么让他们兴奋,什么让他们不安,以及哪些问题仍需要自己去回答。

              这就是构建学习文化的真谛:价值并不总是体现在产出上。有时候,它体现在那个 "容器" 本身。当人们知道有一个地方可以安放自己的困惑,他们就会带着困惑来。而当困惑被看见,它就变成了整个团队可以共同攻克的课题。

              从社群开始

              我们仍然走在路上。Builder Days 刚刚结束,频道里依然热火朝天。我们的 AI 学习项目会持续迭代,一切以团队的真实需求为导向。但如果只能给其他设计团队传递一句话,那就是:不要从工具开始,从人开始。找到你的初学者们,给他们一个可以毫无顾虑地保持好奇的地方。让他们身边坐着领先一步的人,而不是领先十步的人。然后给整个团队足够的、受保护的时间,一起练习。

              工具会不断更换,但你围绕 "学习" 所建立的文化,才是真正能够复利增长的东西。而作为一个以 "为设计师铺路" 为己任的人,面对 AI 这个时代节点,我用的是自己唯一知道的方式来回应:从人开始。

              关于本文
              译者:@飘飘
              作者:@Sheila Kazan
              原文:https://slack.design/articles/we-didnt-teach-our-designers-ai-we-built-a-place-where-they-could-learn-it-together/

              这期前端早读课
              对你有帮助,帮” 
              赞 “一下,
              期待下一期,帮”
               在看” 一下。

              阅读原文

              跳转微信打开

              【开源】一个用于 Codex 和 Claude Code 的通用 LLM 代理中间件:opencodex

              2026年7月24日 09:00

              原创 木槿 2026-07-24 09:00 日本

              解决 Codex CLI / App 和 Claude Code 默认绑定/限制特定底层模型提供商的问题。

              📌 项目:opencodex

              项目地址:https://github.com/lidge-jun/opencodex

              🧩 核心作用

              一个用于 OpenAI Codex(CLI、App、SDK)和 Claude Code 的通用 LLM 代理中间件(Proxy),允许用户在 Codex 和 Claude Code 环境中自由使用任何大语言模型(如 Anthropic Claude、Google Gemini、xAI Grok、DeepSeek、Ollama 等)。

              ❗ 解决的核心问题

              解决 Codex CLI / App 和 Claude Code 默认绑定 / 限制特定底层模型提供商的问题。原本用户如果想在 Codex 生态或 Claude Code 中尝试其他 LLM,往往受限于接口协议或无法直接切换模型;opencodex 通过在本地构建 Response / Messages 协议适配层,实现了零成本适配 40+ 种 LLM 提供商,同时还解决了多 ChatGPT 账号额度轮换(Pool)与会话保持(Affinity)的痛点。

              👥 适用人群

              • 使用 Codex(CLI / App / SDK)或 Claude Code 进行辅助编程的开发者。

              • 希望在统一的 Codex / Claude Code 终端工作流中自由切换各类公有云 LLM 或本地模型(Ollama /vLLM)的工程师。

              • 拥有多个 ChatGPT / Codex 账号、需要自动轮换与配额管理的高阶用户。

              🔍 关键特性

              • 全协议兼容:支持 Anthropic Messages、Google Gemini、Azure、OpenAI Chat/Responses 等 50+ 种适配器,无缝桥接任何 LLM。

              • ChatGPT 账号池管理:自动识别 5 小时 / 周度 / 月度额度,新会话自动分发至低用量账号,长会话自动保持(Affinity)不中断。

              • 无缝集成与静默启动:自动注入 Codex 配置与模型选择器,支持系统服务(launchd/systemd/Task Scheduler)或按需 Shim 模式启动。

              • 多模型协作(Subagent):支持在 Codex 子代理选择器中同时配置多种不同模型(如复杂任务路由给推理模型、简单任务路由给轻量模型)。

              🚀 快速了解建议

              • 参阅 README 中的 Quick start:https://github.com/lidge-jun/opencodex#quick-start 章节,使用 npm install -g @bitkyc08/opencodex 进行快速安装。

              • 运行 ocx gui 启动本地 Dashboard,在可视化界面中一键添加并配置需要的 LLM Provider。

              阅读原文

              跳转微信打开

              深入理解 AI Agent:设计原理与工程实践

              2026年7月24日 08:30

              原创 强少Qone 2026-07-24 08:30 广东

              Agent = LLM + 上下文 + 工具——本书围绕这个核心公式,用 10 章把 AI Agent 从原理讲到工程实战。全书正文、配图、92 个配套实验全部开源,欢迎亲手把实验跑一遍。

              没什么技术背景、但天天在用 AI 的,很值得看看这个《深入理解 AI Agent》,一周 17k star

              GitHub:https://github.com/bojieli/ai-agent-book

              Agent = LLM + 上下文 + 工具——本书围绕这个核心公式,用 10 章把 AI Agent 从原理讲到工程实战。全书正文、配图、92 个配套实验全部开源,欢迎亲手把实验跑一遍。

              平时我们用 AI 会有很多疑问:比如:

              为什么上下文一长 AI 就变笨,书里拆到了 KV Cache 和上下文压缩,

              为什么有的 Agent 好用有的不行,第一章就告诉你:模型只是三分之一,

              上下文和工具才是另外三分之二,等等等等......

              这本书讲的就是这层底下的东西,而且是从工程应用的角度讲,每章还配着能跑的实验代码

              可以把 Github 链接丢给 Codex 让 AI 带着你学一遍,这个真的很值得学一学!

              https://github.com/bojieli/ai-agent-book

              跳转微信打开

              ❌