铃阅时讯
❌

普通视图

被低估的变量:KV-Cache 驱动的 AI Infra 演进

2026年4月22日 20:01

原创 AI闲谈 2026-04-22 20:01 北京

最近在看下一代 AI 数据中心的建设方案,在做建模规划时,越来越强烈地感受到一个常被低估的变量:Agentic 应用的快速发展以及模型架构的持续演进,正在重新定义 KV-Cache 的规模、形态和传输方式,进而影响 AI Infra 的设计。

一、引言

最近在看下一代大规模 AI 数据中心的建设方案,比如 Vera Rubin NVL72/Ultra Rubin NVL144、LPX、CMX 等。在做建模和资源规划时,越来越强烈地感受到一个常被低估的变量:Agentic 应用的快速发展以及模型架构的持续演进,正在重新定义 KV-Cache 的规模、形态和传输方式,进而深刻影响 AI Infra 的设计边界。

训练阶段决定了模型的能力上限,推理阶段尤其是 KV-Cache 的存储、加载、共享与路由越来越直接地决定了系统的成本结构、吞吐上限以及最终的用户体验。这个变化不只发生在模型层,也在服务架构、内存/存储层级、网络互联和机房规划层面同时发生。

最近正好看到的一些和 KV-Cache 强相关的工作,本文中笔者从模型架构、应用场景和基础设施三个角度进行总结。本文除了讨论“KV-Cache 大不大”之外,也进一步讨论当 KV-Cache 的特性发生变化后,AI Infra 的服务形态和硬件选型会被如何重新改写。

相关工作可以参考笔者之前的文章:

二、不同模型架构

2.1 Attention 机制

2.1.1 Softmax Full Attention

如下图所示,Attention 中影响算术强度和 KV Cache 规模有两个关键因素:Attention 里 K 和 V 被多少个 Q 共享,以及 K 和 V 是否共享(假设 FP8 格式存储,Hidden Dim 为 H,n 个 Head,Head Dim 为 d=H/n,GQA 中有 g 个 Group):

  • MHA:Q 和 K/V 对应关系为 1:1,每个 Token 每层的 KV 大小为 2H。

  • GQA:Q 和 K/V 对应关系为 gq:1(每个 Group 里有 gq 个 Q, g=n/gq),每个 Token 每层的 KV 大小为 2H/gq=2gd。

  • MQA:Q 和 K/V 对应关系为 hq:1(有 hq 个 Query Head,hq>=gq),每个 Token 每层的 KV 大小为 2d。

  • MFA:等效于 MQA,每个 Token 每层的 KV 大小为 2C(C 是隐空间维度)。

  • MLA:K 和 V 共享,每个 Token 每层的 KV 大小为 C+dr(C 是隐空间维度,dr 表示 RoPE 编码维度)。

对于 Softmax 类型 Attention,总 KV Cache 大小与序列长度 S 和模型层数 L 成正比。也就是说, 在不做额外压缩或稀疏化的情况下,KV-Cache 大小可以写为(其中 B 表示数据类型字节数,FP16 为 2 Byte,FP8 为 1 Byte,FP4 为 0.5 Byte):

S * L * (单层单 Token 的 KV-Cache) * B

在 Softmax Attention 机制中,KV-Cache 的存储大小与 Decoding 阶段加载的 KV-Cache 大小相同。

2.1.2 Sparse Attention - SWA

滑动窗口注意力(Sliding Window Attention,SWA)的核心思想是:在做 Attention 计算时,当前 Token 不再关注之前的全部 Token,而是只关注一个有限窗口内的 Token。除此之外,可能也会关注额外的 Sink Token([2309.17453] Efficient Streaming Language Models with Attention Sinks [1])。以最基本的 SWA 为例,假设窗口大小为 W,则不论底层是 MHA、GQA 还是 MLA,KV-Cache 的有效存储和加载规模都会被窗口大小 W 所限制(存储大小和加载大小):

S * W * (单层单 Token 的 KV-Cache) * B

2.1.3 Sparse Attention - DSA

DeepSeek 在 [2512.02556] DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models [2] 中引入了 DSA 机制。其核心思路是在 MLA 的基础上进一步叠加 Sparse 机制,每次进行 Attention 之前,先通过 Lightning Indexer 从长序列中筛选出 Top-k Token,再只对这些候选 Token 执行后续的 Attention 计算。

  • Indexer 是一个 128 维向量,所以每个 Token 在每层还会有一个 128 维的 Indexer Cache(存储和加载)。这也意味着 DSA 并不是“零成本稀疏化”,索引阶段仍然会引入额外的计算和存储开销。

  • 通过 Top-k(2048)Selector 后,只用加载 2048 个 Token 的 MLA Cache 进行 Attention 计算即可。

    • 不管序列长度是多少(> 2048),每层都会加载固定的 2048 个 MLA Cache。

    • 由于任何一个 Token 都可能被选中,所以还是要存储所有的 MLA Cache。

    • 计算复杂度为 O(K*L),大幅降低。

  • PS:由于 MLA Cache 的维度为 576,因此当序列长度大于 576/128*2048=9K 时,Indexer Cache 的加载开销反而大于 MLA Cache。

在序列较长的情况下,DSA 可以显著降低 MLA Cache 的加载量和 Attention 计算量,从而降低 Inference 成本。但同时也要意识到,它是用索引阶段的额外开销去换取后续 Attention 阶段的降本。

2.1.4 Linear Attention - GatedDeltaNet

阿里在 Qwen3.5 系列模型中引入 [2412.06464] Gated Delta Networks: Improving Mamba2 with Delta Rule [3],同样可以大幅降低对 KV Cache 的依赖。GatedDeltaNet 层维护两个固定大小的 State(不随序列长度增长),以 Qwen3.5-122B-A10B 为例:

  • Recurrent State(主状态,DeltaNet 核心记忆矩阵):

    • Shape: (linear_num_value_heads, linear_key_head_dim, linear_value_head_dim) = (64, 128, 128) 。

    • 元素数:64 × 128 × 128 = 1,048,576。

    • 一般以 Float32 格式存储。

    • 每层的大小:1,048,576 × 4 bytes = 4 MB。

  • Conv State(卷积辅助状态,用于 gate/delta 计算前的 short conv):

    • Shape: (linear_num_value_heads × linear_value_head_dim, linear_conv_kernel_dim) = (8192, 4) 。

    • 元素数:8192 × 4 = 32,768。 

    • 一般以 Float32 格式存储。

    • 每层的大小:32,768 × 4 bytes ≈ 0.125 MB。

2.1.5 Linear Attention - Lightning Linear

蚂蚁在 Ling 系列模型中使用了 Lightning Linear Attention([2510.19338] Every Attention Matters: An Efficient Hybrid Architecture for Long-Context Reasoning [4]),相比 GatedDeltaNet 更加简单,只用维护一个固定大小的 State(不随序列长度增长),以 Ring-2.5-1T 为例:

  • Recurrent State(主状态,核心记忆矩阵):

    • Shape:(num_kv_heads_for_linear_attn, head_dim, head_dim) = (64, 128, 128) 

    • 元素数:64 × 128 × 128 = 1,048,576 个元素。

    • 一般以 Float32 格式存储。

    • 每层的大小:1,048,576 × 4 bytes = 4 MB。

2.2 Cache 大小

基于上述分析,降低 KV-Cache 压力的思路基本可以归纳为以下几类:

  • MHA -> GQA:KV-Cache 规模会随 Group Size 增大而下降。MHA 可以理解为 Group Size 为 1 的特殊情况,MQA 可以理解为 Group Size = Head 数。

  • MLA:类似 MQA。

  • SWA:通过窗口限制,将有效 KV-Cache 的存储与加载规模控制在一个较小的范围内,可以忽略。

  • DSA:Indexer Cache 的维度更低,绝对规模更新,但依然无法忽略,并且并不会节约存储空间。

  • LinearAttention 系列:State 大小与序列长度基本无关,,Cache 很小,可以忽略。

  • Hybrid Attention 比例:Full Attention Layer 占比越低,整体 KV-Cache 压力通常也越小,比如 Ring2.5-1T 中,只有 1/8 层使用 MLA。

结合下图中常见模型的 Attention 配置和 KV-Cache 大小,可以看出相对比较有优势的架构是:

  • MLA + DSA:DeepSeek V3.2 和 GLM-5.1。

  • Hybrid Attention:GQA/MLA(层少) + SWA/Linear(层多),并且 GQA 中要使用较大的 Group Size。 

三、不同应用场景

3.1 应用场景分析

随着大模型能力的不断提升,其应用场景已经从简单的对话和 Offline Inference(Batch) 逐步演变为更复杂的 Agentic 工作流。不同场景对 TPS/User(Token 生成速度)的要求差异很大,而 TPS/User 又与并发度(Batch Size)密切相关。整体来看,TPS/User 要求越高,可承受的 Batch Size 越小,系统成本越高。

如下图所示为不同场景对 TPS/User 的需求:

Offline Inference:无实时交互需求,可最大化 Batch Size 提升 GPU 利用率。调度策略应当以吞吐优先,可容忍高延迟换取高总吞吐。

  • TTFT:不重要。

  • TPS/User:小于 20 Token/s 也完全可以接受。

  • 典型输出 Token 数量:和任务密切相关。

Chatbot(Non-reasoning):有一定的实时交互需求,但通常满足人眼的阅读速度即可。

  • TTFT:可接受(<2s);体验良好(<1s);体验非常好(<0.5s)。

  • TPS/User:可接受(15-20 Token/s);体验良好(20-50 Token/s);体验非常好(> 50 Token/s)。

  • 典型输出 Token 数量:100-500 Token。

Chatbot(Reasoning):增加了 Reasoning,输出 Token 数明显增加,不过用户往往对“深度思考”有更高的容忍度。通常来说,Thinking 部分需要适当快些,以便降低 E2E 时间,有效 Output 满足人眼阅读体验即可。

  • TPS/User:

    • Thinking 部分:50-100 Token/s。

    • Output 部分(用户可见):20-50 Token/s。

  • 典型输出 Token 数量:1,000 - 10,000 Token。 

典型 Thinking 长度

30 Token/s 等待时间

100 Token/s 等待时间

1,000 Token

33s

10s

5,000 Token

167s(较差)

50s

10,000 Token

333s(很差)

100s

Voice Assistant:人听词的速度比阅读速度慢,但是端到端的链路比较长,包括 ASR -> LLM TTFT + 首句生成 -> TTS 合成 -> 播放。因为起始阶段需要快速填充 TTS Buffer,对  TTFT 和 TPS/User 要求较高,随后并不需要较高的 TPS/User。

  • TPS/User:

    • 起始突发阶段:50-100 Token/s。

    • 稳定输出阶段:15-20 Token/s。

  • 典型输出 Token 数量:50-200。

Deep Research:多步 Agent 任务,需要多轮 LLM 调用 + 工具调用。用户通常预期会有较长的等待时间,对单次调用的 TPS 不敏感,但是也会期望总时间不要太长。

  • 总 Token 数量:10,000 - 100,000 Token。

  • TPS/User:50-200 Token/s

    • 200 Token/s 可以满足绝大部分需求,体验很好。

    • 100 Token/s 基本也都可以满足需求,体验不会太差。

    • 50 Token/s 极端场景下体验较差。

典型 Thinking 长度

50 Token/s 等待时间

200 Token/s 等待时间

10,000 Token

~3.3min

~0.8min

50,000 Token

~17min(较差)

~4min

100,000 Token

~33min(很差)

~8min

Coding Assistant:和用户会有频繁的交互,对时延比较敏感,通常要求较高的 TPS/User。不过 Coding Assistant 也可以分为不同的子场景分别优化,比如行内补全可以采用较小的模型获得较高的 TPS/User;对话模式会有较多的有效输出 Token 数,TPS/User 要求也不会特别高;而 Agentic Coding 场景自会有非常高的要求,通常要求分钟级的输出,不过这种场景也可以将任务拆分,进而控制整体输出长度,将单任务 Token 总数控制在 10,000 - 100,000 Token。

  • 典型输出 Token 数量:10,000 - 100,000 Token

  • TPS/User:100-400 Token/s

    • 400 Token/s 可以满足绝大部分需求,体验很好。

    • 200 Token/s 基本也都可以满足需求,体验不会太差。

    • 100 Token/s 极端场景下体验较差。

典型 Thinking 长度

100 Token/s 等待时间

200 Token/s 等待时间

400 Token/s 等待时间

10,000 Token

~1.7min

~0.8min

~0.4min

20,000 Token

~3.3min

~1.7min

~0.8min

50,000 Token

~8.3min(较差)

~4.2min

~2.1min

100,000 Token

~16.7min(很差)

~8.3min(较差)

~4.2min

大型 Coding 项目:对于一些中大型项目,代码行数甚至可达 50,000 行,假设每行平均 10 个 Token,则需要 500,000 Token,也基本达到当前常见模型的上限。即便不是这么大型的项目,也可能因为需要反复编写代码 -> 编译/测试 -> 修复异常循环,从而导致总 Token 数达到 128K - 512K。当然,该场景也可以通过子任务划分、压缩等发生降低单任务 Token 总数。

  • 典型输出 Token 数量:100,000 - 500,000 Token

  • TPS/User:

    • 1000 Token/s 可以满足绝大部分需求,体验很好。

    • 400 Token/s 基本也都可以满足需求,体验不会太差。

    • 200 Token/s 极端场景下体验较差。

典型 Thinking 长度

200 Token/s 等待时间

400 Token/s 等待时间

1000 Token/s 等待时间

100,000 Token

~8.3min

~4.2min

~1.7min

200,000 Token

~16.7min

~8.3min

~3.3min

500,000 Token

~41.7min

~20.8min

~8.3min

3.2 NVIDIA Rubin NVL72 + LPX 分析

如下图所示,为 Vera Rubin NVL72 和 LPX 的各种适用场景:

  • Rubin GPU 采用 HBM,非常适合长上下文,高吞吐的场景,随着 TPS/User 要求的提升,TPS/MW 逐渐下降。

  • LPX 主要使用 SRAM,带宽非常高,很适合对 TPS/User 要求极高的场景。当然,由于 SRAM 容量有限,无法充分容纳高并发下的 KV Cache 和激活,导致即使 TPS/User 要求不高,其 TPS/MW 也不会特别高。

如下图所示为 NVIDIA 提供的 Vera Rubin NVL72 + Groq 3 LPX 在不同场景下的吞吐:

  • TPS/User <= 100:Rubin NVL72 和 Blackwell NVL72 还能达到比较高的 Batch Size,TPS/MW 基本与算力呈正比。

  • 100 <= TPS/User <= 200:Blackwell NVL72 中 Batch Size 下降的更多,TPS/MW 下降的更快,Rubin NVL72 的优势开始凸显。

  • 200 <= TPS/User <= 400:TPS/User 要求非常高,Rubin NVL72 的优势非常明显,甚至 TPS/MW 达到 Blackwell NVL72 的 10x。Rubin NVL72 + LPX 的优势更加明显,甚至在 400 TPS/User 处达到 Blackwell NVL72 的 35x,是单独使用 Rubin NVL72 的 3.5x。

  • TPS/User >= 400:Rubin NVL72 + LPX 的优势非常明显。

四、NVIDIA CMX

4.1 概述

NVIDIA 在 GTC 上也发布了其准备针对 Context Memory(KV Cache)的 NVIDIA CMX Context Memory Storage Platform [5],可以在 Rubin NVL72 Rack 的基础上额外扩展 CMX 存储 Rack。其定位可以理解为:在传统 GPU/HBM/SSD 层级之外,为 Context Memory 引入一层更明确的共享存储能力。主要解决以下问题:

  • 跨 Rack 共享上下文。

  • 减少重复 Prefill 和历史重算。

  • 支撑 SuperPod 级的 KV-Aware 路由。

  • 为长上下文与多轮场景提供更可控的共享 Warm Tier。

  • 将共享 KV 从传统共享存储中剥离出来,避免用远端存储承载活跃 Context。

4.2 KV-Cache 存储层级

如下表所示,CMX 相当于在本地 SSD(G3)和远端共享存储(G4)之间额外增加了专门针对 KV-Cache 的共享存储:

  • 整个 SuperPod 共享(比如 1152 GPU),空间远大于本地 SSD,小于 G4 共享存储。

  • 相比访问远端 SSD 的链路更短,时延更低。

4.3 CMX 优劣势

Agentic 和多轮对话场景确实大幅推高了 KV-Cache 的存储需求,但是正如前文的分析,当前一些旗舰模型也在架构设计上充分考虑了 KV-Cache 的存储压力,通过 GQA/MLA、Sparse Attention、Hybrid Attention 等方式显著降低了这一压力。

对于真实的复合场景(序列分布不同、TPS 要求也不通)来说,长上下文需求本身未必一直占据很高的比重,更可能是一类长尾需求。

既然可以通过 Superpod 感知路由来避免跨 Superpod 的 CMX KV-Cache 加载,那么同样也可以考虑通过 Server/Rack 感知路由来尽量避免 SSD 中的 KV Cache 在 Server/Rack 之外额外迁移,以更充分地发挥本地 SSD 缓存 KV-Cache 的价值。

在需求尚未明确之前就额外采购 CMX,可能会造成采购预算的浪费。在一些情况下,把预算用于扩充更多 SSD 或 GPU Rack,反而可能更直接地提升系统整体能力。

CMX 也会对机房建设带来额外挑战,如果提前购买,可能会出现预算浪费;如果后续再补建,又可能带来机房改造风险,比如供电、机架容量或布线方案不再满足要求。更稳妥的方式,往往是在机房初期规划时预留对应的扩展空间和条件。

五、Moonshot Prefill-as-a-Service

5.1 概述

Moonshot 最近发布的 [2604.15039] Prefill-as-a-Service: KVCache of Next-Generation Models Could Go Cross-Datacenter [6] 引起了不少讨论。它的价值并不在于模型结构或算法层面带来了巨大创新,而在于捕捉到了一个重要趋势:随着 Hybrid Attention 等方案让 KV-Cache 规模明显下降,异构 PD 分离在跨集群场景下开始变得真正可行。基于这个前提, 论文提出 Prefill-as-a-Service(PrfaaS)的思路:将长上下文 Prefill 选择性地卸载到独立的高算力集群,再把生成的 KV-Cache 通过普通以太网(前端网络)传回 Local PD 集群完成 Decoding。这样可以在一定条件下实现跨集群、跨机房、异构硬件解耦的 LLM Serving 架构。

5.2 异构集群

虽然 PD 分离刚出来时,很多人都鼓吹“异构 PD 分离”,但一旦进入到集群如何建设、如何互联、如何调度等具体问问时往往又哑口无言。核心难点在于,有几个问题并没有那么容易被真正解决:

  • 在 DC 建设时,通常不同类型的 GPU 是不同的集群,比如 A100、H100、B300、H20。

    • 一方面,因为它们的算力不同、后端网络不同、采购时间不同,在 PD 之前并没有太多混合调度的需求。

    • 另一方面,后端网络互联也会有挑战,A100 是 200Gb/s 网络为主,H100 是 400Gb/s 为主,而 B300 是 800Gb/s 为主。

    • 此外,后期搬迁重建也相对比较麻烦。

  • 不同设备的比例难以确定。

    • Workload 高度动态化,并且随时间和技术发展快速演进,比如短短半年时间,由于 Agent 的发展导致序列长度明显增加。

    • 模型结构的变种也很多,资源采购、机房建设的周期往往无法适应当前模型的快速演进。

5.3 跨集群、机房

跨集群的前端网络带宽通常比后端网络低得多。以 A100、H100 平台为例,前端网络带宽常见是 100Gb/s、200Gb/s 或 400 Gb/s,往往只有后端网络的 1/8 甚至 1/16。此外,前端网络通常会采用有收敛网络,导致核心链路更容易出现瓶颈。

当前的 Hybrid Attention + GQA/MLA 等机制已显著降低 KV Cache 规模,也让 Prefill 和 Decoding 之间的 KV-Cache 传输量明显下降。如下图 Table 3 所示,更大规模的 Hybrid Attention 模型的 KV-Cache 反而比更小的 Dense Attention(GQA)模型小得多,甚至达到 10x 差距。这与我们前面的分析类似,也就为跨集群的 KV-Cache 传输提供了可行性。

此外,也不是简单地把所有 Prefill 都放到高性能 GPU(比如 H100) 的 Prefill 节点上就可以。对于一些比较短的 Request,使用高性能 GPU 可能并不划算,再叠加跨集群传输延迟后,效果甚至可能不如直接由本地高带宽 GPU(比如 H20)节点处理。因此 Prfaas 的方案是将部分 Long Request 路由到 PrfaaS Cluster,而将 Short Request 和 Decoding 调度到 Local PD Cluster。如下图 Figure 3 所示:

5.4 局限性和挑战

PrfaaS 同样会面临一些现实挑战。如果把它放到真实生产环境中,前端网络除了承载 KV-Cache 传输外,还需要承载镜像下发、模型下发、用户 Request/Response 流量以及其他服务流量等。这些流量规模往往并不稳定,要么难以预测,要么需要做 QoS 隔离。如果处理不好,就可能污染 KV-Cache 传输路径,从而把压力传导到第二 Token 甚至后续 Token 的生成时延上。

六、其他工作

6.1 Google TurboQuant

前段时间 Google 的 [2504.19874] TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate [7] 也在社区中引起广泛讨论,甚至被炒作为“可以大幅降低存储需求”,引起存储厂商大跌。

实际上,TurboQuant 确实提供了进一步降低 KV-Cache 的可能,但其可带来的降幅并没有想像中那么大。在尽量保障精度的前提下,比较理性的压缩比例为 2x(8 bit -> 4 bit),远小于模型结构优化带来的提升幅度。

6.2 MSA: Memory Sparse Attention

在 [2603.23516] MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens [8] 中,作者提出 Memory Sparse Attention(MSA),一种端到端可训练、兼顾效率与大规模可扩展性的 Memory 模型框架。通过可扩展稀疏注意力架构、文档级 RoPE 等核心创新,MSA 在训练和推理阶段均实现线性复杂度,同时保持精度稳定性。

论文结果表明,当 Token 从 16K 扩展至 100M 时,性能衰减幅度低于 9%;此外,结合 KV Cache 压缩与推理阶段的 Memory 并行机制后,可在 2 张 A800 GPU 上完成 100M Token 的推理任务。

然而,该方案也有相应的局限性。一方面,它需要对模型做额外训练或至少做较多架构级适配;另一方面,它的适用场景也更偏向文档问答、长文总结等 memory-centric 任务。

七、总结与判断

KV-Cache 已经不再是一个单纯的模型实现细节,而是正在成为连接 “模型架构” 与 “Inference Infra” 的关键中间变量。模型层对 KV-Cache 的重构方式,会直接决定 Inference 系统对 HBM、DRAM、SSD、前后端网络以及路由调度能力的需求结构。

模型越是能在架构上降低 KV-Cache 的存储与搬运成本,AI Infra 层的约束就越少,系统设计的自由度也越高。这也就意味着,未来的竞争重点不只是 “更大的 GPU” 或 “更高的带宽”,而是 “模型结构优化 + Serving 系统设计 + 硬件层级协同” 的联合优化。

  • 从模型趋势看,GQA/MLA、Sparse Attention、Linear Attention 和 Hybrid Attention 都在把 KV-Cache 从“必须累积增长”变成“可被结构性控制”的对象。

  • 从系统角度看,KV-Cache 规模下降并不只意味着存储成本下降,更意味着 Prefill/Decoding 分离、跨集群传输、异构调度等方案开始具备更强的落地可能性。

  • 从应用角度看,不同场景的核心矛盾并不相同:有些场景要吞吐,有些场景要 TPS/User,还有一些场景要的是总任务完成时间。因此,不应该使用单一指标去诜明所有 AI Infra 的价值。

  • 从硬件选型看,HBM GPU、DRAM、本地 SSD 以及类似 CMX 的中间层,未来更可能是长期共存而不是单一方案 “通杀” 所有场景。

  • 短期内最值得关注的,依然是 “模型端先把 KV-Cache 做小”。这会比 “在 Infra 层直接为大 KV-Cache 堆资源” 更具有普遍性,也更容易在多种场景下复用。

  • 从中长期看,真正的差异化优势可能来自 “KV-aware 的系统设计能力”:谁能在模型、调度、网络、存储和机房层面同时做联合优化,谁就更容易在下一轮 AI Infra 竞争中占据优势。

  • AI Infra 演进中的不确定性是最大的确定性,不说前提条件的结论大概率是忽悠。

八、参考链接

  1. https://arxiv.org/abs/2309.17453

  2. https://arxiv.org/abs/2512.02556

  3. https://arxiv.org/abs/2412.06464

  4. https://arxiv.org/abs/2510.19338

  5. https://www.nvidia.com/en-us/data-center/ai-storage/cmx/

  6. https://arxiv.org/abs/2604.15039

  7. https://arxiv.org/abs/2504.19874

  8. https://arxiv.org/abs/2603.23516

跳转微信打开

超级个体的个人英雄主义,在企业里可能是一场灾难

2026年4月22日 19:04

原创 李志飞 2026-04-22 19:04 北京

真正的破局,是换一套系统——一套从第一天起就为多人协作而设计的系统。

最近这段时间,很多 CEO 都在焦虑同一件事。

朋友圈、科技媒体,每天都有新案例刷屏——

某个程序员一个人用 Claude,做出了以前需要一整个部门才能完成的产品。

某个设计师用 AI,一周交付了以前要三个月的工作量。

某个创业者独自一人,用 Cursor、OpenClaw、Claude Code 把完整的 SaaS 产品做出来上线,从零到收入,全程没有雇一个人。

超级个体的故事,听起来像科幻小说,但已经是每天都在发生的现实。

于是,几乎每一家公司的 CEO 都做了同一个动作:

组织全员学 AI 工具。

Cursor 要用,OpenClaw 要用,Claude 要用,各种 AI 助手全上。目标只有一个——把每一个员工都培养成超级个体,让每个人都能一个人顶一个部门。

但这里有一个问题,很少有人认真想过:

公司花了真金白银培养出来的超级个体,真的能让公司适应这个 AI 时代吗?

今天市面上几乎所有主流的 AI 工具——Cursor、OpenClaw、Claude Code——本质上都是为个体设计的。它们在本地运行,上下文只属于一个人,天然地把工作方式从在线拉向离线,从组织拉向个体。

这些工具不只是工具,它们在塑造人的工作方式。用久了,你会习惯一个人掌控全局,习惯所有东西都在自己手里,习惯不需要跟任何人对齐。工具和人的习惯互相强化,最终造就了超级个体——一种在个体场景下极度高效、但天然不适合组织的工作形态。

一家公司全力推动员工用这些工具,其实是在花钱把自己的组织一点点瓦解——从在线变成离线,从团队变成一个个孤立的个体。

这件事,需要高度警惕。

一、超级个体很强,因为上下文完整、一人掌控全局

超级个体能做到一个人顶一个团队,秘密只有一个:上下文完整。

从产品 Idea 到技术实现,从商业化路径到推广策略,所有的思考都在同一个脑子里。当他们把任务交给 AI 时,AI 拿到的是完整的意图、完整的背景、完整的判断标准——不需要猜,不需要等,直接端到端地把事情做完。

多个 Agent 协作时,共享同一套文件和上下文,没有权限边界,没有信息孤岛,摩擦几乎为零。自动化任务把每天的工作流串联起来,整个节奏像一台精密运转的机器,一个人就能驱动。

这套工作方式,正是被那些个体工具一点点塑造出来的。工具天然地把一切设计成围绕一个人运转,人用久了,也只会用这一套。在一个人掌控全局的场景里,集中就是效率——这不是工作风格,这是最优解。

但这套最优解,有一个隐含前提:只有一个人。

二、但规模化必然是多人的事,组织需要的是"可被协作的能力"

不需要交接,不需要解释,不需要对齐——因为所有的上下文都在同一个脑子里,不存在"传递"这件事。一个人的时候,这是最大的优势。

但规模化的产品不是一个人的事。产品经理、工程师、设计师、运营——不同工种之间要流转,不同工程师之间要接力。这时候,单人模式最大的优势,恰恰变成了最大的障碍。

一个人用 Cursor 或 OpenClaw 在本地写代码,离线就够了。但当另一个工程师需要接手,当产品经理需要知道进度,当运营需要理解产品逻辑——所有东西都锁在一个人的电脑里,对其他人来说就是一堵墙。

组织需要的不只是能力,而是可以被协作的能力。文档要共享,上下文要可传递,权限要有边界,工作流要对多个角色透明。超级个体那套"一切聚在一处"的模式,放进组织就行不通了。

那实际会发生什么?

三、超级个体带着个体习惯进入组织——三输

把超级个体放进一家公司,然后什么都不变。

他依然用自己的方式工作——所有东西围绕自己运转,提交代码是为了给自己备份和管理多个 Agent,文档是自己看的,工作流是为自己设计的。他不是不努力,他只是在用他最熟悉、最高效的方式工作。一切都是为了自己,不是为了协作。

但对同事来说,这是一场噩梦。看不到他在做什么,接不上他的节奏,摸不透他的逻辑。每一次协作都是一次消耗。

对他自己来说,同样痛苦。公司的流程、审批、会议、对齐——每一个环节都在拖慢他。以前一天能交付一个产品,现在一周开了五个会还没动工。

对公司来说,结果也难看。一个能力极强的人,产出远低于预期,团队的协作秩序也因此更加混乱。

三输。超级个体痛苦,团队痛苦,公司也没拿到它想要的价值。

但这还只是表面。习惯可以慢慢改,人可以慢慢适应。真正难解的,是工具本身的设计逻辑——它从一开始就没有"多人"的概念,带进组织,结构性的摩擦根本无法回避。

安全和权限

超级个体习惯把数据库密码写在 Skill 里,API Key 硬编码在脚本里。作为个体,这没什么问题,但一旦这些 Skill 需要共享给团队,密码和凭证就随之暴露——谁能看到这个 Skill,谁就能拿到这些权限。

文件系统

很多个体 AI 工具根本没有项目隔离的概念,所有人共用一套文件系统。A 改了一个文件,B 不知道,又把它改回去了。两个人同时操作,互相覆盖,谁也不知道哪个版本是对的。

自动化任务

超级个体喜欢用 Cron Job 把任务串起来,让多个 Agent 按顺序读文件、写文件、触发下一步。在组织里,文件系统是大家共用的,他的自动化任务在后台悄悄跑着,其他人完全不知道——直到发现自己的数据被改了,或者任务跑出了奇怪的结果。

跨项目的上下文与记忆

在组织里,同一个人往往同时参与多个项目。A 项目里积累的讨论、决策、背景知识,哪些应该让 B 项目的人也能用到?哪些又只属于 A 项目,不该外泄?共享边界划错了,要么信息孤岛,要么信息泄露,两个方向都是麻烦。

根源就在这里:工具为个体设计,塑造了个体的工作习惯,两者互相强化。把这套东西带进组织,摩擦是必然的,越到后期越难收拾。

问题清楚了,那出路在哪?

四、组织本身必须彻底变——不是优化,是重构

很多人看到这里,第一反应是:那让超级个体改改习惯不就行了?

不行。习惯是工具塑造的,工具不变,习惯就很难真正变。而且更根本的问题不是人,是组织结构本身——传统的那套,在 Agent 时代已经彻底失效了。

传统企业的底层逻辑是:人是执行单元。所以要分工,要工种,要线性工作流——产品经理写需求,交给设计,设计交给工程师,工程师交给测试。每一次交接都是信息损耗,整条链条又慢又脆。

但如果 Agent 是主要的执行者,这套逻辑就彻底失效了。

你不再需要那么多工种

产品、设计、工程、测试——很多以前必须由专人承担的工作,Agent 可以直接完成。组织不再需要靠堆人来堆产出,而是靠少数人高质量地指挥 Agent。你需要的,是公司所有成员都具备一个人全栈指挥 Agent 的能力。

你不再需要线性工作流,你需要的是原型工作流

不是一个环节交付完才开始下一个,而是让 Agent 一次性端到端把原型做出来,然后再去迭代完善。Agent 可以并行,可以随时拿到完整上下文重新执行,"等上一个人交付才能开始"的串行模式,在 Agent 时代是一种主动降速。

你需要扁平、精简、多人协同指挥 Agent 的组织

不是一个超级个体单打独斗,而是多个人围绕同一套系统并行推进,每个人都能直接对 Agent 下指令、拿结果、做决策。

这是一次真正的组织变革,不是优化,是重构。那些还在用旧组织架构套新 AI 工具的公司,迟早会发现:工具换了,但瓶颈还在。

因为瓶颈从来都不是工具,而是组织本身。

但光靠组织变还不够。组织变了,用的还是那套为个体设计的工具,协作的问题依然解决不了。人和工具,必须同时换。

五、破局不是改变人,而是换系统

真正的破局,是换一套系统——一套从第一天起就为多人协作而设计的系统。

这套系统的核心逻辑只有一个:多个人一起协作,共同指挥 Agent 干活。

多个人坐在一起,不是来分工执行的,而是共同指挥 Agent。超级个体依然可以是主控,发挥他的全局视野和驾驭 AI 的能力;其他人不再是被他甩开的旁观者,而是真正参与进来的协作者,在跟 Agent 的协作中,能力也在成长。

当超级个体发现,有更多人加入之后不是被拖慢,而是更轻松、产出更多——他才会真正理解协作的意义。这不是妥协,是杠杆。

三输变三赢。超级个体解放了,团队有了真正的参与感,公司也拿到了结果。

当然,要把这件事真正做好,远比说起来复杂。多个人同时指挥同一个 Agent,消息怎么流转?谁的指令优先?什么时候该人来决策,什么时候交给 Agent 自动执行?文件系统、权限、上下文——在多人场景下,每一个细节都需要重新设计。这是一个真正意义上的人机协作系统,没有捷径。

这些问题,后面会有专门的文章来讲。

我们做的 CodeBanana,正是为这件事而生。

目前,CodeBanana 已开放企业客户申请,欢迎体验:

跳转微信打开

2026 年做搜索就是做 Agent Memory

2026年4月22日 14:30

原创 Jina AI 2026-04-22 14:30 新加坡

“大家今天还用 grep+md 做记忆召回,说明我们几年来语义搜索就没做好”

4 月 18 日,Elastic 中国 AI 搜索技术大会在北京召开。以下内容整理自 Elastic 全球副总裁肖涵,原 Jina AI 创始人兼 CEO 在会上的演讲。肖涵讲述了 AI 搜索的发展历程以及为什么说在 2026 年做 AI 搜索基本就是在做智能体记忆 (Agent Memory)。本文以第一人称呈现。

欢迎大家来到 Elastic 第一次在中国办这么大的技术研讨会。我是肖涵,北京人,大家可以先放松一下,欢迎来到我的家乡。

先简单介绍一下自己,以及我和 Elastic、尤其是和搜索的一些渊源,也帮大家回忆一下搜索这些年的发展。

我最早接触搜索是 2009 年,在惠普实验室(HP Labs)实习,拿 Lucene 做分词,做信息抽取。那时候叫 IE,不是 Internet Explorer,是 Information Extraction。还做了一些 LDA、主题模型这类东西。2009 年贝叶斯那套非常火,跟今天 Transformer 的地位差不多。

后来我去德国读博,做的就是贝叶斯机器学习。等我 2014、2015 年博士毕业出来,发现贝叶斯没什么人搞了,大家都在用 TensorFlow 做深度学习。又过了几年,Transformer 出来,把深度学习的架构统一了。

2018 年我回国,在深圳腾讯 AI Lab 做了两年搜索,做的是微信"搜一搜"背后的多模态和中文搜索。2020 年疫情的时候出来创业,成立了 Jina AI,专门做多模态搜索。

当时我立的 flag 是"颠覆 Elastic"。结果绕了一圈,2025 年 10 月被 Elastic 收购了。现在我在 Elastic 担任全球副总裁,专门负责 AI,主要是搜索底座模型的研发。

今天要讲的主题是智能体记忆。

先问一下在座有谁用过小龙虾?举个手。嗯,量不小,一看就是在中国,大家都很爱学习。那用过超过一个月的?少一些。超过两个月的?更少了。

那我相信大家都遇到过一个问题:用这类智能体,用一两次是尝鲜,但当你用了一周、两周之后,你是希望它越来越聪明的,随着你用它越久、它越记得住你的事。可惜目前这套记忆机制很不完善。

智能体记忆的痛点

讲一个两周前我自己的真实例子。

我跟小龙虾说:"我之前做了一个 911 的图表,你发给我一下。"911 是保时捷的一款跑车。然后它(我给它起名叫"小牛马")跟我说没找到,问我 911 是指恐袭还是别的东西。

我当时第一反应是模型降智了,或者被 fallback 到什么垃圾模型上去了。我特地查了一下,发现跑的是 Claude Opus 4.6,当时最好的模型。不是模型的问题。

那我就开始 debug。我问它:你刚刚用的什么搜索?怎么判断你记忆里没有这件事的?

它说它用了 Grep 做关键词匹配,又用 Memory Search 做向量语义搜索,把 Memory Markdown、Session Log、文件系统都扫了一遍。

方法上看着没问题。那接下来 debug 的点就是:你到底用的什么 Query?

它告诉我,第一次的 Query 是 911 chart graph visualization。它不知道 911 是什么,直接把我的中文翻译成英文去搜了,发生了一次 multilingual query 的转译。第二次更离谱,Query 变成了 September 11th chart visualization Twin Towers attack,直接搜成恐袭了。

这两个 Query,我的记忆库里当然都找不到。

后来我换了一个说法,"帮我把 992.2 的图表发给我"。992.2 是 911 这代车型的代号。一下就找到了,3 月 29 号做的。

所以就算你记忆系统整条链路都对,只要第一步 Query 构造错了,整个检索就是废的。而且这种事情从我 1 月份开始用到今天,一直在发生。

记忆,是今天 Agent 的一个很大的痛点。

回顾搜索的发展脉络

我们回顾一下,搜索是怎么走到"做智能体记忆"这一步的。

2009 年刚做搜索的时候,关键词就是 BM25、TF-IDF、倒排索引,Lucene 背后那套东西。

2015 年之后,向量搜索逐渐进入视野,最早是 Spotify 搞过一个,名字我都快忘了,然后是 Facebook 的 Faiss,Milvus,Elastic,这是第一批把 Vector Search 做出来的。但大家很快发现向量搜索也有问题:速度是一个,过度召回是另一个。向量搜索有个毛病,就是哪怕 Query 和文档完全不相关,只要分数差不多它就召回了。关键词搜索会零召回,向量搜索太柔,语义上都太柔化。所以后来大家把两者结合,做混合搜索。

2018 年 Transformer 统一了深度学习架构,BERT 成为把文本编码成向量的标配。

2022 年 11 月 ChatGPT 发布,RAG 起来,搜索和生成越走越近。我 2022 年写过一篇小随笔,搜索是过拟合的生成,生成是欠拟合的搜索。它们俩其实是对偶的。

2025 年还有一个时间点。春节前正月初一,DeepSeek 发布了 R1,非常火。它那套 reasoning 加 test-time compute 的范式让大家意识到,搜索可以边搜边 reasoning,再不断搜,最后生成一份很长的报告,这就是 Deep Research。2、3 月份 Google、OpenAI、Perplexity 都在做,包括后来做得比较好的 MiroMind。

2026 年呢?自从 OpenCloud 发布之后,大家对 Agent 的期待变了。不再是生成一份报告就结束,而是希望我一旦启动这个 Agent,它能连续干三四个小时,没人管、没人介入,它自己在那跑。

Jina AI by Elastic 搜索底座三件套

Jina AI 从 2020 年成立到现在六年,做的事情一句话讲完:我们在做搜索的底座。我们在观察这条进化路线上哪些东西是不变的。最后沉淀下来三套模型,Embedding、Reranker、还有一个 Reader (或者叫 Small Language Model)。

Embedding 大家都知道,就是向量,把文本或者图片转化成向量,然后用 cosine 余弦距离去匹配。

  • V1:默默无闻。

  • V2:2023 年 10 月发布,在海外引起了比较大的轰动,因为当时它是第一个开源的、支持 8K 上下文的模型,你能一次编码 8000 个 tokens,是第一家做开源长文本向量模型的,当时都是英语。之后我们还有很多双语版本。

  • V3:我们把所有双语版本都砍掉统一,重新训练了一个多语言的 embedding 模型。到现在仍然非常好用,在 Hugging Face 上月下载量大概在 500 万。

  • V4:2025 年发布的一个多模态 embedding 模型,可以同时编码图片和文本。有人说多模态模型 CLIP(OpenAI 的 CLIP)2022 年就搞了,你 2025 年才搞一个多模态的模型?其实它俩不一样。CLIP 用的是对齐训练,而 V4 的多模态是一个真正的多模态,它把图片拆成小的 patch,和语言一起放到一个大的语言编码器中编译成向量,而不是像 CLIP 那样有一个图片模态、一个文本模态,然后两个模态之间对齐。

  • V5:我们今年在加入 Elastic 之后,和 Elastic 一起研发的向量模型。V5 的性能和大小非常好。我们发布了两个版本:一个是 V5 text Nano,只有 2.39 亿参数;一个是 V5 Small,6.77 亿参数。相对于 V4 的大小(38 亿),小了很多。当然 38 亿对于大语言模型来说只是非常小的 toy example,但对于搜索任务我们要求的是快,在快的基础上做到精准。v5 的特点就是参数小,但性能强。

可以看到即便我们现在用更小的模型,其实可以达到更高的性能。V5 目前是文本领域做多语言搜索能够做到最好的。可以看到它是一个 Frontier model(前沿模型)。

放到 Pareto Frontier(帕累托前沿)上看,横轴是参数量,纵轴是任务分数,越靠左上越好,V5 目前在最左上那个角上。它是文本领域多语言搜索目前能做到最好的前沿模型。这个模型已经被 SIGIR 2026 录取了。

另一个我们做的是 Reranker。重排器有些人不太理解:我都有 Embedding 做语义搜索了,为什么还要 Reranker?你一次排好不就完了?

Jina Reranker v3: 全新“列式”重排器,0.6B参数刷新文档检索SOTA

原因是搜索是一个多层级联的 Pipeline。到最后一步,我们希望更细致地挖掘 Query 和候选文档之间字和字级别的相似度,也就是 token level 的语义匹配。Embedding 是把整篇文章压缩成一个向量,压缩过程必然有损失;Reranker 保留了每个 token 上的向量,因此可以把 Query 的每个 token 和 Document 的每个 token 两两对比。它的计算量比 Embedding 大,但粒度也更细。

Jina Reranker V3 是第一个真正意义上的长文本重排器,支持 131K 上下文,这篇工作获得了 AAAI 2026 FrontierIR Workshop Best Paper。除此之外我们还有一个 m0 版本,做多模态重排。

Jina Reader 相信很多人在用 Agent 的时候都碰过。对很多人来说,Reader 甚至比我们的模型更出名。这个今天下午 Reader 的作者会专门上台讲,我就按下不表。Reader 为什么是永远的神,YYDS。

长时程任务与智能体记忆

回到智能体搜索、长任务这件事。刚才说了 Deep Research 是 2025 年的一个重点,它就是一个 Loop。Agent 就是一个 Loop,在三个状态之间循环:Search、Read、Reason。

2026 年今天讨论最多的、你去问智谱、MiniMax 这些厂商,PR 稿里必提的一个词就是:他们的模型如何支持 long-horizon task。长时程任务,就是 Agent 能自主运行多长时间,三四小时、三四天没人管它还能接着干。有个叫 METR 的 Benchmark专门衡量每一个大模型放在一个环境中自主解决任务的最大时间长度。目前大约是 4 到 5 个小时,这个趋势在不断上升。

你让一个 agent 工作 4 个小时,中间它要搜索几百次、读几百个文档、在失败路径上回退几十次。这些经历不可能全部塞进 context window。它必须有一个地方去存、去查、去更新。

逻辑就很清楚了:当 Agent 的目标变成长时程任务,持久记忆就不再是可选项,是命门。

记忆该如何表征?

这就引出了很多问题。最基本的问题就是:记忆该如何表征(representation)?

很多人忽视了在机器学习里最大的一个问题,其实不是方法,而是表征。机器学习的顶会之一 ICLR 的全称就是 International Conference on Learning Representations,表征学习国际会议。顶会以"表征"命名,你就知道这个概念在整个 AI 领域的位置。

我们用了很多年才发现,BERT 是对语义的一个非常好的表达,它给"一段文本应该长什么样"这件事找到了一个好的 representation。当表征就位。Vector Database 才成立。向量数据库存的就是这种表征。

所以当我们要做智能体记忆,第一个问题不是"用什么数据库",而是:记忆的 representation 到底是什么? 基于这种 representation,我该怎么去做 CRUD?

一条聊天记录,一个事实三元组,一张知识图谱?还是一段向量,一个时间戳+事件对,还是模型权重本身?不同的答案,会催生完全不同的系统。这也是今天智能体记忆领域最混乱的地方,大家在不同的表征上各自开工,谁也说服不了谁。

而且即便选定了表征,还有三个问题要回答。

第一:基于这种表征。怎么做 CRUD,这是做数据库的人熟悉的。第二,如何在不破坏对话效率的前提下,把知识从对话里抽出来变成可检索的资产。这件事要难得多,因为对话是实时的,提取是有成本的,抽多了慢,抽少了漏。第三,也是我自己最在意的。记忆能不能跨模型迁移?

我今天用智谱,明天我不粉了,变黑粉了,投奔 MiniMax,我希望我的记忆能搬过去照常运行。所以记忆应该和上层模型解耦。

我们今天从生物学的角度强行关联一下,看一下人是怎么完成记忆的。大家知道这是什么吗?这是刀盾狗(Doge),现在非常火的一个生物。

人脑的记忆是分层的。当一个新概念进来,先有视觉输入,前额叶皮层判断值不值得记,海马体负责编入,睡眠会强化记忆,最后它变成一种长时程的技能,重新烧录到新皮层。

我们可以强行做一个映射。我说两次"强行",是因为 我本人并不太赞成把人脑的东西硬搬到 AI 上,碳基和硅基的运行方式可以完全不一样。但如果强行对应:海马体对应 RAG 的实时检索,新皮层对应微调或预训练模型,前额叶就是当前的 Context Window。

什么时候该忘?选择性遗忘

讲智能体记忆还有一个特别重要的问题:什么时候该忘?

举个例子,我第一次用小龙虾的时候,把我六年创业的事一口气全喂给它。结果它经常把我六年前想过、早就放弃的一个事情拿出来问我。但人是会变的,有些事我忘了,有些事我不做了。

这个问题其实 Andrej Karpathy 有一段很精准的描述。他说:现在我们看到的 agent 系统都有一个最致命的问题,就是它不会选择性遗忘。

如果系统不做选择性遗忘,最后一定是乱的。大脑不遗忘会超负荷;Agent 不遗忘,也会被自己的历史拖垮。

目前 Agent 记忆有几个缺陷:一是遗漏,就是 911 那个例子;二是失真,也就是幻觉(hallucination);三是幻觉继承。

这时候会有一个非常有意思的事情:冷启动悖论。反而是当你用一个新模型或新 agent 的时候,感觉会非常好,因为你知道这是一个全新的 agent,对它的期待非常低,所以用起来还挺顺手。而当你使用时间越来越长的时候,你期待这个 agent 变得越来越好,但它并没有,因为它的记忆体设计得非常差。这就导致它的用户留存时间会非常短,用户对 AI 的信任被长期蚕食。整个行业的节奏被记忆这件事拖住。

市面上智能体记忆产品的分类

我梳理了一下,目前做智能体记忆的产品,开源加闭源至少有十几家。再加上老牌数据库公司 PingCAP(做 mem9)、Milvus 也在做,以及平台内置的方案:ChatGPT 的用户记忆、Claude.ai 的知识库、Claude Code 和 Codex 的文件系统。

这么多产品,怎么区分它们?我用一句话概括:Source of Truth 在哪? 这是区分所有记忆产品的第一性原则。沿着这个原则,可以分成三大类:

第一类是数据库派,向量数据库、SQL、Key-Value 存储。对话经过 LLM 抽取 facts,存进向量库或图谱,检索时注入上下文。结构化程度高,查询效率好,但"一条记忆应该长什么样"这件事由 schema 锁死,灵活性有限。

第二类是文件派,Markdown、纯文本。Agent 读文件、工作、写回文件、不断累积。优势是透明可编辑、可版本化,缺陷是文件会膨胀,需要 intelligent forgetting。代表是小龙虾、MemSearch。

第三类是模型派,真相就是大模型权重或上下文本身。模型自决定记什么、忘什么、整合什么。优势是零配置、自适应,缺陷是完全黑盒、不可审计。代表是 Letta、ChatGPT。

我们刚才看到三大类别,目前所有记忆体基本可以按这三类划分。当然还有一些结构化存储、扁平化存储、主动管理和被动管理,这可以从另一个坐标轴对所有产品进行分类。

行业共识:主流的记忆工作流

虽然流派不同,但主流工作流有高度共识,我稍微总结了一下,我们今天看到的大部分智能体记忆框架基本上都 follow 这个工作流:

  1. 从聊天记录中,通过大模型提取事实或记忆结构

  2. 将这些记忆结构:

    • 要么转化成 向量

    • 要么转化成 知识图谱

    • 要么用一些 时序数据库(时序非常重要,因为就像我刚才说的,你需要选择性遗忘)

  3. 基于时序数据库、知识图谱和向量库做混合检索

  4. 检索完之后你还无法直接呈现到上下文中,要解决两个问题:

    • 冲突:当检测出两个记忆相互矛盾的时候,该怎么解决?

    • 随时间的衰减:旧记忆权重怎么降?

大部分主流框架基本 follow 这个设计理念。当然并不是每一个框架都采用所有技术,有些只选择做几个,有些则全链都做。

小龙虾记忆结构详解

既然现场这么多人用过小龙虾,我们具体拆一下它的结构。它是典型的文件派。

它的真相源是一个 memory 文件夹,里面按天组织 Markdown 日记。另外有一份 memory.md 主文件,存长期记忆,包括用户画像;还有一份 soul.md。存它自己的"灵魂画像",也就是它对自己是谁、自己怎么做事的内部表征。

从这些真相源派生出两个索引:SQLite FTS5 做 BM25 关键词检索,LanceDB 做向量检索。在索引之上做混合检索,用 RRF 融合、MMR 去重、再加时间衰减。对外暴露两个接口:memory_search 和 memory_get。

在此之上,它还模仿了人类的睡觉习惯:有深度睡眠、浅度睡眠、REM(Rapid Eye Movement,快速眼动)。在这三个基础上设置一套机制。 

这些是仿生学的概念,总体来说它设置了一套机制,能保证不是每一条记忆都完全被升级到长期记忆上,而是通过设置阈值、判断条件来提升一部分记忆。

模型派:真相在模型里

除了文件派,还有模型派。这是我个人比较看好的方向。 也许到某个点,大家发现 Transformer 架构本身就把记忆问题解决了,直接 The bitter Lesson,力大出奇迹。

目前已经看到这个趋势,比如千问 3.5 的 MoE 模型已经可以扩展到 1M token,在一个 24G 显存的 GPU 上可以流畅运行。如果我的全部记忆能被压进或者直接装进 1M 窗口,那我就不需要分层设计了,直接用模型本身做召回。

还有一家公司是 EverMind AI,他们最近把上下文推到了 100M token,你可以直接在 KV cache 中存 100M token。他做这个事情是因为:如果不做特殊的架构处理,上下文越长召回质量越差。所以 EverMind 这家初创公司在 Attention 机制上做了特殊设计,搞了一个叫 MSA(Memory Sparse Attention,记忆稀疏注意力) 的东西,保证它在超长 100M 上仍然有非常好的召回效果。

Benchmark

学术圈对智能体记忆已经做了不少 benchmark,我简单点一下。这个很重要,我们做一个任务的时候,和民科最大的区别就是:我们要跑 Benchmark,验证完效果才去说这个东西有用。

目前主要的数据集有 LongMemEval(500 问,测五大能力:信息提取、多会话推理、知识更新、时序推理、安全拒答)、MABench(ICLR 2026,测精确检索、测试时学习、长程理解、冲突解决)、MemoryArena、LOCOMO、EverMemBench(首个多方协作基准,100 万 + tokens)、清华的 MemoryBench(首个用户反馈持续学习基准)。

目前在做记忆体测试的时候,这些是主流的 Benchmark。大家可以发现:上下文越长,记忆体效果越差;多会话推理、冲突解决目前都是非常难的问题。

Evermind 还提过一个我觉得特别有意思的问题:今天我们讨论的记忆,不管是小龙虾还是别的,都假设 Agent 是一个一对一的个人助理,这是相对简单的场景。但如果把 Agent 丢进一个群聊里呢?它该记谁的?怎么分别记每个人的? 所以记忆的未解决问题还非常多。

这里列出一些关键论文。

我们看今天的 RAG(包括混合召回)之所以不够用,是因为它本身没有状态、没有层级,至少在做 embedding、做 keyword search 的时候,它并不包含状态,也不包含时间关系。它是一个非常扁平的召回模型,所以这种模型并不擅长做记忆。这已经是目前的共识,所以才有很多图数据库、时序数据库想介入进来一起把 agent 记忆模型做好。

基础设施构建

如果我们今天看所有的智能体叙事框架,底层一定要有:

  • 向量检索(必需),尤其是 多语言向量检索,比如刚才 911 的事情,中文需要翻译成英语,不能说中文搜不到英语的内容。跨语言搜索能力一定要有。

  • 重排器和 Reader:可能需要,有时可能不需要。

在此之上有存储和搜索,包括 Elasticsearch 中的向量数据库。可以看到 Jina 和 ES(Elastic)基本上包含了整个搜索的底座。

另外再号召一下:Elasticsearch 和 Jina 融合之后,我们对于智能体记忆的底层有了一个非常全面的覆盖。 我希望大家能够利用 Elasticsearch 去构造自己的智能体记忆框架。

能力

Jina + Elastic 怎么覆盖

向量语义检索

Jina Embeddings v5(677M / 239M)

BM25 关键词搜索

Elasticsearch 原生支持

稠密 + 稀疏混合

Elasticsearch 原生 RRF

精排重排序

Jina Reranker v3(131K 上下文)

网页和文档理解

Jina Reader

多模态向量化

Jina Embeddings v4(文本 + 图像 + PDF)

元数据和多租户

Elasticsearch index / alias

目前 Elastic 还没覆盖的,是知识图谱遍历,以及如何把大模型放到架构中做事实抽取(extraction)。

Hot Take

1. 统一范式还没出现。 我在做智能体记忆调研的时候发现:其实统一的范式并没有形成。有些人从仿生学角度看这个问题,有些人从自己的使用习惯、工作效率上看这个问题。这非常像 2017 年 Transformer 没出来之前的深度学习,百花齐放的状态,包括 CNN、RNN、LSTM,这些东西百花齐放。

2. 纯文本派是躺平。不想构建任何模型,也不想构建任何仿生学层级,基本靠 grep、keyword search。这几年 search 发展太快了,从 RAG 到 deep research,很多人已经疲惫到说:"反正一切终究会被大模型吃掉,那你又何必去奋斗呢?反正到最后你就躺三个月,没准大模型出来就已经把这个实现了。" 我个人认为这是一种躺平,这种想法是有一定天花板的,而且天花板是显而易见的。

3. Unlearning 是一笔多年的技术债,该还了。 目前所有系统都是只增不减,实际上是一笔技术债。我当时做机器学习的时候,2009 年大家就讨论过机器遗忘(Machine Unlearning):怎么把已经训练的、已经学到的东西忘掉?一个现实类比就是"刷抖音这号废了,重新开号吧"。推荐系统一旦被污染就无法恢复,本质就是它不会遗忘。智能体记忆面临完全一样的问题:噪声一旦写入,就永久污染所有后续检索。

4. 推荐系统会因为智能体记忆重新火起来。智能体记忆的核心是个性化:记住用户偏好、行为模式、历史决策。这跟推荐系统做了二十年的事完全一样。小红书、抖音、淘宝这些推荐系统做得好的公司,凭借经验和先天优势,可能会在这个智能记忆体的时代发挥出来。

这就是我今天的演讲。希望对大家有所帮助,也希望让大家对智能体记忆的发展脉络和未来走向有了一个整体的认识。

另外再号召一下:Elasticsearch 和 Jina 融合之后,我们对于智能体记忆的底层有了一个非常全面的覆盖。 我希望大家能够利用 Elasticsearch 去构造自己的智能体记忆框架。

谢谢大家。

图片

跳转微信打开

Notion 和 Obsidian 应该怎么选?我的思考和建议

2026年4月21日 14:54

原创 二一的笔记 2026-04-21 14:54 福建

两种截然相反的笔记哲学

Notion 的优缺点

Notion 的门槛在于,当一个页面被创建,在 Notion 的整套叙事里,你需要尽快为这个页面找到它在系统中的位置和关系,它是什么、属于哪里、是否和某个具体的任务或项目有关系?

尽管你可以从一页白纸开始写完所有东西,但 Notion 的强大亦是一种约束,它会把你往系统构建的方向牵引,因此你总是会感受到一种来源于「必须将信息妥善安置」的压力。

但 Notion 的易用也在于此,因为它的笔记有更明确的状态、关系、权限和操作边界,这种结构化的信息分类让你可以更快地把目标转化为行动,把知识转化为可复用的对象,或者在协作场景中成为团队的共同标准。

因此你可以在 Notion 里轻易搭出一个 CRM、项目看板或者内容日历,这些 Notion 一贯标榜「可以让每个人创建属于自己的软件」的宣传,本质上都是对同一份结构化的数据做不同维度的排列组合。

从结果来看 Notion 的确实现了「LEGO for Software」的自我定位,至少我认为在目前市面上能做到的仅此一家。

Obsidian 的优缺点

Obsidian 的易用则在于,一条笔记可以先只是笔记本身,记录可以先于分类,拥有可以先于系统,它不要求你一开始就精准地判断这条信息是任务、项目、资料还是成果。

简易的文件夹结构就可以支撑起大部分的分类叙事,创建出链和入链的成本极低,大致的存放位置加上少量的标签,就足以让它先进入你的知识系统,因此 Obsidian 更擅长承载长期阅读、概念孵化和研究写作等需求。

因为思想或者灵感需要不确定性、需要模糊、需要反复命名、或者保留未来重新解释的机会,这是 Obsidian 所能塑造的氛围,并且它保证不把这段文本锁死在自己的应用里,所以你总能期待这段文本在未来还能有更多的可能性。

但 Ob 的门槛也在于此,基于 Markdown 文件构建的系统,只能依赖文本之间的约定去呈现或者模拟结构化的关系,一旦开始使用 Properties 给笔记加字段、用 Bases 做类似数据库的视图、或者引入自定义主题来改变界面逻辑,Obsidian 就会陷入另一种折腾的漩涡。

社区插件的引入更意味着复杂度的无序提升,官方将编排信息的权利和义务交给了个人和生态,甚至插件的安全性也不可能得到全面的审查,这既是自由也是成本,你以为你全权拥有了所有的本地文件,但未必能真正拥有和掌握,围绕这个系统所生长出来的复杂关系。

Obsidian 其实也是在简单的 Markdown 上不断垒砖块,不兼容的语法也是你不得不品的一环。

在这里,产品所营造的「氛围感」仍然重要,它决定了你的每次输入是倾向于结构化的表达,还是倾向于在一张白纸上更写意地将脑子里的东西随意泼洒。

只不过继续逐项对比谁能搭建出更强大的系统、谁的关联更好用、谁的第三方工具更丰富、谁的数据迁移更便利,或者是谁能调用的模型更强大,可能不是一件很有讨论价值的事,因为大家本就面向不同人群、既各有长短也都在取长补短,过于深究某一个功能只会让结论流于表面。

当 AI 开始替你动手

AI 的加入将逐渐抹平两款产品在写作、搜索、总结和文档等表面能力上的差异,而且当 AI 不只是一问一答,也开始替你增删改查的时候,双方如何在系统层面定义操作对象之间的关系、如何确定每一次 AI 操作的权限边界,才会带来更大的体验差别。

一个明确带着状态、优先级、负责人、截止日期的任务对象,可以被 Agent 精确地筛选、更新、或分配目标,而一段只包含 #task 标签的纯文本,Agent 能做的更多是搜索、以及根据意图进行模糊或者发散的思考,两者在被自动化调用时所产生的效果很难一致。

因此我们可以从一种相对暧昧的角度来下结论,Notion 的 AI 更能达成目的,Obsidian 的 AI 更能与你共鸣,至少现阶段是如此。

所以,当 AI 逐渐成为第一生产力,我们过去为了提高「提取的效率」而精心组织的笔记系统,是否还有那么重要?当未来的你再次需要某个想法时,AI 重新生成一份笔记的质量,也许并不会比你翻找十年前的那条 Markdown 更差。

过去我们引以为傲的自由意志、写进笔记的真实思考、或者所谓「能让自己更好地认识自己」的活人感日记,在智能涌现的 AI 面前,还会有那么高的价值吗?我其实对此怀着悲观的态度。

如果 AI 强到某种程度,Obsidian 所珍视的长期可读,Notion 所追求的结构化调用,双方的努力在未来一定会需要被重新评估。

此刻的答案仍然重要

不过幸好至少在今天,AI 还没有强到让信息架构变得完全多余,你的笔记系统仍然是你和 AI 协作的基础设施,所以我们依然还需要再花点时间认真纠结到底选谁更好。

只是在 AI 模型两周一小更、两月一大更的频次下,你不必追求一个能够支撑十年的决定,想清楚此时此刻,最远 1 年内要解决什么问题,就足够让你做出一个好的选择。

也就是说,如果一条信息被写下来之后,需要更快地进入具体的工作流和协作中,那么 Notion 具备比 Obsidian 更大的优势,AI 会让你获得更精准的执行结果。但 Notion 的风险是过早的定义,你可能会在想法还没有成熟时,就急着给它分类、加字段、套流程,最后很容易为了维护而维护,并且糟糕的 Notion 系统只会制造更深的路径和更精致的混乱。

如果一条信息更看重长期保存、反复联想、慢慢孕育、或者等待未来某个时刻被重新理解,那么 Obsidian 更适配这个需求,AI 会给你更多意料之外的惊喜。但 Obsidian 的风险是延迟整理,并且结构化的信息需要用文本和第三方的插件去约束,你在前期获得的自由,后期可能会以命名混乱、链接松散、插件失效的形式还回来。

在 AI 上下文普遍还锁定在 200K 到 1M 的这个空间下,你暂时还不能指望 AI 对你的系统有全知的理解。

至少目前越是想让 AI 参与执行,越需要系统提前界定清晰的身份、状态、关系和权限的边界,就像 OpenClaw 里必须精心维护的 SOUL、AGENT、USER 或者 MEMORY 文档一样,更长的上下文还不能替代信息结构本身。

分歧和选择

所以可以设想两种人,一种是同时在推进三到五件事的项目型工作者,可能是自由职业者、小团队主理人、或者某个部门的负责人。

他每周要在客户需求、内容排期、账款追踪、素材库和团队沟通之间反复切换,他最怕的是某件事被漏掉、某个状态没更新、某个承诺没追踪,他需要的是信息尽快获得来源和去向,好让注意力从「记住一切」里解放出来。

另一种是正在写一本书或做长期研究的创作者,他每天读几十页文献、冒出几十个联想,其中大部分不会立刻有用,但某一些会在两年后的某个深夜和另一段材料突然共振,他最怕的是一个还没成型的想法被过早划分到某个分类里,然后再也不见。

在我看来,前者适合 Notion,后者适合 Obsidian。

Notion 相信,信息的价值来自它进入系统之后能被如何协调和执行,因此在一条信息被写下之后,需要尽快为它命名和归类。

Obsidian 相信,信息的价值来自它脱离某个具体系统之后,仍然能够如何存在,因此它更倾向于让信息先保留为文本。

所以选择 Notion 还是选择 Obsidian,真正的分歧在于,当有了 AI 能力的加持后,你想让知识优先成为行动系统的一部分,还是优先保持为可重新组织和解释的思想文本?终有一天你会不再需要二选一,但至少在现阶段你依然需要考虑,你更愿意在哪个阶段付出整理信息的成本?

你愿意在前期承受定义信息的压力,换取后期更清晰的调用、协作和执行;还是愿意接受后期可能出现的命名、整理、和维护的延迟混乱,去换取前期更灵活、更能触类旁通的笔记体验?

你此刻更缺的是轻盈的、不想过早整理的自由,还是繁复的、能把想法更快推进为行动的秩序?

双方所能构建的世界都过于庞大、所能赋予的想象空间都很美妙,因此你很难「我全都要」,如果非要二选一,你只需凭你的直觉回答上面的问题就能找到答案。

当然这个答案的保质期肯定不会太长,但能怎么办呢?不要想太远,也可以根本不用想,再给 AI 一些时间,或许你的问题就不再需要答案了。

---End---

📢

一个广告

如果你在阅读这篇文章之后对 Notion 有所倾向,也欢迎看看我打磨过的 FLO.W 系统,它们不会替你思考,但可以让你少走一段重复造轮子的路。

这套 Notion 模板已经帮将近 1500 人搭建起了自己的 Notion 知识系统,详细介绍可见链接 ⬇️

21notion.com

阅读原文

跳转微信打开

有意思小周刊No.167(2026.04.20):我把OpenAI-Codex官方案例全跑了一遍

2026年4月20日 08:50

原创 强少Qone 2026-04-20 08:50 广东

「有意思小周刊」是我利用零碎时间,梳理记录一周的日常阅读与思考内容。目的是为以后更好构建自己知识体系,也为了将这些内容分享给你。

以下是这期值得关注的内容

📰 推荐阅读

1. 从 Vibe Coding 到范式编程:用 Spec 打造淘系交易的 AI 领域专家

2. 我把 OpenAI Codex 官方案例全跑了一遍

3. 端侧Python动态算法策略的部署与运行

4. 零侵入、低成本!轻松为老系统注入 AI 灵魂

5. 智能代码审查基于大语言模型的自动化代码质量保障平台设计与实践

6. 从全量启动到最小核: 手淘外链唤端链路的三次架构演进

7. 设计师如何利用 Codex 做一个“完整产品”,看下我的思路

8. 淘宝动效解决方案分享

9. 黄仁勋最新Dwarkesh深访: 英伟达的护城河能否持续 | 图解+视频+3万字全文

🔎 发现新大陆

1. Sketchfab:3D模型界的 YouTube

2. OpenMedKit:AI 驱动家庭药箱管理助手

🛠️ 资源·工具

1. js-screen-shot:web端截图库

2. 老板.skill

📚 近期书单

1. Learn Claude Code

▌从 Vibe Coding 到范式编程:用 Spec 打造淘系交易的 AI 领域专家

链接:https://mp.weixin.qq.com/s/s4IVundC5cj61iY8rahA0A

本文介绍了从“Vibe Coding”向“范式编程”演进的技术路径,核心是通过结构化规范(Spec)驱动AI生成符合企业级标准的代码。文章以淘系交易系统为背景,指出当前AI编程工具因缺乏领域知识、上下文缺失和规范约束,导致生成代码不可靠、难维护;为此提出“范式编程”——将规范置于开发中心,结合知识库、知识点、疑问点机制与AI Agent,构建可沉淀、可复用、可演进的AI领域专家体系,实现从“人写代码”到“人机协同”的范式升级。

▌我把 OpenAI Codex 官方案例全跑了一遍

链接:https://mp.weixin.qq.com/s/dMUzfR2qXPuHt77pu3M8rw

本文系统梳理并实测了 OpenAI Codex 官方发布的12类典型工作流案例,揭示其能力已从“代码生成”跃迁至“端到端软件工程执行”:不仅能理解目标、拆解任务,还可自主调用 Shell/Git/API/MCP 等工具,持续规划—执行—修正直至完成。作者重点聚焦设计与前端协同场景,验证了“截图→原型”“Figma选区→工程代码”“视觉参考→响应式页面”等四类高价值工作流,并强调其核心价值在于将设计资产(截图、Figma、设计系统)转化为可复用、可迭代、可校验的工程输入,从而解决信息损耗、流程不稳定与协作断点等长期痛点。

▌端侧Python动态算法策略的部署与运行

链接:https://mp.weixin.qq.com/s/GkHlRrZ_297ospGJjD6Tlg

本文系统阐述了在移动终端(Android/iOS)上动态部署与运行Python算法策略的技术方案,聚焦于端计算范式下实时性、隐私性与灵活性的协同实现。核心围绕三大支柱展开:一是通过构建轻量级自研Python解释器+执行环境(PythonExecEnv),在无原生Python支持的移动端实现脚本的动态加载与执行;二是以NumCpp替代NumPy,通过JNI桥接将高性能C++科学计算能力注入Python逻辑,解决移动端数值运算瓶颈;三是建立云端-端侧协同的特征融合与动态部署机制,支持特征数据(本地行为+云端画像)实时注入、Python策略脚本远程热更新及AB测试闭环,最终实现“策略即代码”的业务触达与敏捷优化。

▌零侵入、低成本!轻松为老系统注入 AI 灵魂

链接:https://mp.weixin.qq.com/s/aOhwUNAY8efO6jPISSByoQ

本文介绍了爱奇艺海外技术团队自主研发的 Tenon Agent 解决方案,旨在以“零侵入、低成本”方式为历史包袱沉重的老业务系统(如 Vue2、JSP、老旧 React 系统)快速注入 AI 能力。方案直击三大核心痛点:前端兼容性差、后端 Agent 开发成本高、AI 能力孤岛化;通过“前端 JS SDK 零侵入接入 + 后端 LangGraph 标准化编排 + 全公司 Skills Hub 生态共建”三层架构,实现大模型与真实业务接口(查数据、做操作)的深度联动;已在10余个业务场景落地验证,显著提升排障效率(30分钟→2分钟)、多语言配置效率(提升80%+),并为未来多智能体协同与 AGI 生态演进奠定标准化基础——以“榫卯”为喻,让老系统牢固嵌入AI新生态。

▌智能代码审查基于大语言模型的自动化代码质量保障平台设计与实践

链接:https://mp.weixin.qq.com/s/xWBMZ-JZJ_2S1MvMJ-dfnQ

本文介绍了一种基于大语言模型(LLM)的智能代码审查系统设计与实践,聚焦于在 GitLab Merge Request(MR)场景中实现自动化、高精度、可落地的代码质量保障。核心围绕三大关键挑战展开:一是通过异步化 Webhook 处理与任务解耦,解决 GitLab 10 秒接口超时限制带来的稳定性问题;二是构建结构化 Diff 解析与行号映射机制,并辅以精细化 Prompt 约束,显著提升模型评论定位的准确性与可靠性;三是将开放式模型生成转化为规则化缺陷识别,明确定义问题类型与严重度分级,大幅提高审查结果的信噪比与工程可用性。该系统并非替代人工审查,而是将重复性、规则性强的基础检查能力前置为可复用、可扩展、可持续优化的工程链路。

▌从全量启动到最小核: 手淘外链唤端链路的三次架构演进

链接:https://mp.weixin.qq.com/s/SyI_bJaZu3f3GuUONzQpMg

针对外链启动耗时过长导致的用户流失问题,团队通过从“全量串行”到“按需裁剪”的架构升级,先后落地了标准链路、极简链路(跳过首页、裁剪非必要任务)和最小核链路(采用包含法极致裁剪、启动与资源加载并行化)三代方案,成功将低端设备的唤端耗时从10秒压缩至3秒以内,并配套建立了完善的发布前校验、灰度验证及线上应急换链体系,显著提升了外投承接效率与稳定性。

▌设计师如何利用 Codex 做一个“完整产品”,看下我的思路

链接:https://mp.weixin.qq.com/s/vap5iihmg3ixH1mNLwxA5A

本文是一位设计师基于 Codex 工具从 0 到 1 实践开发 Chrome + Figma 双插件(Web to Figma Paste 与 Web to AI Prompt Assistant)的全流程复盘,核心不在于技术复杂度,而在于揭示 AI 协作的新范式:设计师应将 Codex 视为全程参与产品构建的“搭档”,而非仅限于写代码的工具;强调“先跑通闭环、再持续打磨”的 MVP 思维,通过清晰定义产品边界、主动收敛需求、结构化提问(截图+链接+问题)、用规则替代记忆保障稳定性,并借助 AI 完成发布前的文档、文案、检查清单等“非编码但关键”的产品收尾工作,最终实现一人完成完整产品交付。

▌淘宝动效解决方案分享

链接:https://mp.weixin.qq.com/s/IZgKWf3aiJvRE7AaxExi7w

本文提出了一套平台化、协议化、工程化的动效解决方案,覆盖设计(AE插件)、编辑(可视化画布SDK)、布局(align/group动态对齐与成组)、播放(H5/Weex跨端统一Player)、压缩(二进制优化)、代码生成(Lottie→Anime.js)及AI辅助(MCP协议动效Agent)全链路,解决碎片化、多端不一致、性能差、维护难等痛点,实现“一次制作、多端复用、智能可控”。

▌黄仁勋最新Dwarkesh深访: 英伟达的护城河能否持续 | 图解+视频+3万字全文

链接:https://mp.weixin.qq.com/s/nJ7W86SNpMwXJGHRu2uObg

本文整理自科技博主Dwarkesh对英伟达CEO黄仁勋的深度访谈,系统阐释了英伟达的核心战略逻辑与长期竞争力本质。黄仁勋将公司使命凝练为“将电子高效转化为高价值Token”的智力炼金术,强调其成功不依赖摩尔定律,而源于处理器、系统、算法、网络与软件生态的“极致协同设计”;他指出CUDA驱动的数十亿级装机量与全球开发者生态构成最深护城河,远超单一芯片性能;同时警示地缘政治中过度出口管制将加速对手构建独立技术栈,主张以开放生态维系美国技术领导力——即通过赋能全球AI开发者(含中国),确保American tech stack成为事实标准,而非退守封闭市场。

▌Sketchfab:3D模型界的 YouTube

链接:https://sketchfab.com/

Sketchfab 就是“3D模型界的 YouTube”,或者可以把它理解为 “针对 3D 数字资产的全能型网盘 + 展示舞台 + 淘宝商城”。

它是一个基于 WebGL 技术打造的在线 3D 模型展示、分享与交易巨头平台。在过去,想要在网页上查看一个 3D 模型,往往需要下载几个G的庞大文件,再安装各种专业的重型建模软件。而 Sketchfab 的出现彻底打破了这种壁垒——它让你只需点开一个网页链接,就能像刷小视频一样,流畅地对高精度 3D 模型进行 360 度旋转、缩放、切换材质,甚至直接把它们投射到现实环境中(AR/VR)。

▌OpenMedKit:AI 驱动家庭药箱管理助手

链接:https://open-medkit.vercel.app/

OpenMedKit 是一款开源、可自托管的 AI 驱动家庭药箱管理助手,旨在将传统依赖手动翻找与填表的药箱管理升级为自然语言交互与视觉识别结合的智能系统;它支持一句话描述或拍照自动解析药品名称、规格、有效期、存放位置等结构化信息,并通过对话式检索、多维度分类筛选及跨平台(Telegram/Discord/Lark)过期提醒实现全生命周期管理;同时具备高度兼容性与可控性,遵循 MCP 协议、支持任意 OpenAI 兼容大模型、本地 SQLite 存储及全栈自部署能力,真正让每个家庭拥有安全、透明、可持续维护的数字化药箱。

▌js-screen-shot:web端截图库

链接:https://www.kaisir.cn/js-screen-shot/

一个 用于在web项目 中实现截图功能的库,可以在任意一台支持js的设备上运行。

▌老板.skill

链接:https://github.com/vogtsw/boss-skills

“老板.skills”是一个面向职场人士的AI技能工具项目,旨在通过大语言模型技术将真实管理者或知名企业家的决策逻辑、沟通风格与管理习惯“蒸馏”为可调用的结构化技能(tokenized skill)。其核心理念是:以老板的原始材料(如聊天记录、会议纪要、邮件批注)为输入,构建具备三重能力的智能体——能像老板一样评判项目(Judgment)、指导向上管理(Managing Up)、复现其表达人格(Persona);同时支持开箱即用的企业家模板(如马斯克、乔布斯等),用于高保真风格模拟与职业能力训练;最终目标是将管理者经验内化为个人生产力工具,实现“把老板炼入token,把生产力的解放留给自己”。

▌Learn Claude Code

链接:https://learn.shareai.run/zh/

19 章节、4 个阶段,从最小闭环一路搭到多 Agent 平台与外部能力总线

END

如果本文对你有帮助,请点赞、在看和分享给身边的朋友!

别忘了关注「强少来了」

获取更多前端 · 后端 · B端产品思维的精彩内容!

👇👇👇

你的认可,是对我最大的鼓励

求转发,朋友圈

另外我建了一个读友交流群

你可以回复关键词「进群」

添加我个人微信,邀请你入群

跳转微信打开

《超级组织》李志飞作者序|一个CEO的AI管理之战

2026年4月19日 23:38

飞哥说AI 2026-04-19 23:38 北京

本书既记录了这个时代的转型实战,也呈现了我们对未来组织形态的探索。

很长一段时间里,我面对“管理”这两个字时的心情是复杂的,甚至带着深深的挫败感。

作为典型的技术出身型创业者,在谷歌担任科学家时,我信仰的是代码、算法和数学模型。但当我在2012年回国创业时,一切开始变得不同。随着公司从最初的几个人逐渐扩大到上千人,我每天要面对的不再只是技术问题,而是组织、流程、协作、激励这些复杂而模糊的挑战。我开始意识到,管理可能是我最不擅长的一件事。

为了弥补管理这个漏洞,在公司上市后,我去湖畔大学系统学习企业管理,但让我感到意外的是,这些学习并没有让我感到豁然开朗。相反,我变得更加沮丧和困惑。我逐渐意识到,许多传统管理方法对CEO(首席执行官)的个人能力提出了极高的要求。企业规模越大,决策、协调与沟通的压力就越集中到少数管理者的身上。与此同时,我也开始隐约感觉到,我们正在用工业时代的管理方法去管理一家AI(人工智能)时代的公司。

随着大模型和智能体(Agent)技术的快速发展,一个新的问题开始浮现出来:如果越来越多的工作将由智能体完成,那么当智能体逐渐成为企业的重要执行主体时,企业的管理方式和组织结构是否也需要发生根本性的变化?

这种错位感在2024年底的一个深夜达到了顶峰。那晚,我盯着飞书上几百条未读消息,看着我们25人的核心产品团队,突然感到深深的无力。每个人都很忙,每个人都很高效——工程师沉浸于写代码,设计师在等发布,产品经理在群里问问题却没人回……每个人都在狂奔,但整个团队却是断裂的。

这种断裂让我们付出了昂贵的代价:一位开发者花了两周的时间,居然开发了一个完全错误的功能。这不是因为他技术不行,而是因为上下文(context)丢失了。那一刻,我们的产品经理无奈地说了一句:“我甚至不知道团队到底在干什么。”这句话像针一样扎在我的心上。我开始反思:为什么我们用了最先进的AI,组织效率却没有发生质变?

直到那时,我才真正意识到,问题也许并不在于工具,而在于组织本身。如果未来越来越多的工作将由AI完成,那么当智能体开始成为组织的重要执行主体时,就需要重新发明企业的管理方式和协作模式。

为了寻找答案,我做了一个在大公司CEO看来可能有些“疯狂”的决定。2025年的端午节,我把自己“关”了起来,进行了一场为期48小时的极限编程试验。在那48个小时里,我只靠自己和AI,试图从零开始构建一个复杂的产品原型。那是我创业以来最痛苦,也最通透的时刻。我亲身体验到AI赋予个体的“神力”,也深度撞击到传统协作模式的“墙壁”。同时,我也陷入新的迷茫:当作为个体的CEO的能力被极致提升后,企业如何将这种能力规模化?AI能够极大提升个体生产力,因此企业真正的挑战就不再只是拥有更先进的技术,而是如何构建一种让人类与智能体能够高效协作的、新的组织形态。

如果说工业时代组织的核心使命是管理“人力”,互联网时代组织的核心使命是管理“信息”,那么AI时代组织的核心使命就是管理“智能”。企业不再只是由人组成的组织,而是由人类与智能体共同构成的系统。如何设计这种新的组织?如何让人类与AI高效协作?传统企业如何向AI转型?如何在AI时代构建真正具有竞争力的企业?这些问题正是本书试图回答的。

本书既记录了这个时代的转型实战,也呈现了我们对未来组织形态的探索。我在管理一线直面组织的边界与难题,高佳作为本书的架构师在实践中构建了AI组织的演进系统。这是我们共同绘制的未来地图。

未来企业最重要的员工,可能不再只是人类。那些最早学会与智能协作的组织,将拥有最大的竞争力。我们写下本书,只是希望把这段探索的过程记录下来。因为我相信,此刻正感到焦虑和迷茫的,绝不仅仅是少数企业。每一个不想被时代抛下的管理者,都在寻找那张通往新大陆的地图。

这是一场注定艰难的进化,但我们别无选择。希望本书能成为你在这场伟大迁徙中的一份路书。

管理学的很多答案来自过去,但AI时代的问题来自未来。如果本书能帮你少走一些弯路,那便足够了。

李志飞

4月21日发布会,点击预约直播

跳转微信打开

Claude 终于还是染上了赛博性病

2026年4月17日 15:51

二一的笔记 2026-04-17 15:51 福建

以前都是为了能用上 Claude 来辅助创作

才那么害怕被封号

但现在我一点也不担心了

曾经我认为文字品味最好的模型一去不复返

看到一条评论说得好

这是白月光染上了赛博性病

Anthropic 也许是把 Opus4.6 降智省下的资源

都拿去蒸馏 GPT5.4 了

语料越用越少,大家只能互相抹屎了

这么看来我的手搓创作还是有市场

用心写的文字永远都会有人在意

下一篇文章准备聊一聊

Notion 和 Obsidian 到底应该怎么选

跳转微信打开

这九个skills帮你复刻ClaudeCode

2026年4月16日 18:41

二姐存钱罐 2026-04-16 18:41 北京

基本上把Claude code泄露的源码摸透了,并把这9个思想提取成了skill。

明白了这些,你大概能理解CC的工程是如何构建的。

你可以直接把这些Skill安装到claude code里,按需使用。

也可以未来内嵌在自己的Agent当中。

可以在这里直接下载安装使用:

https://claudeleakage.com/zh/opensource-for-dev/

做完这些,下一步就是应用到各种业务场景中了。

接下来的分享可能会更直观。

跳转微信打开

拍图识款在转转的进阶实践

2026年4月15日 18:40

原创 刘天悦 2026-04-15 18:40 北京

转转拍图识款

  • 1、背景

    • 1.1 为什么要做“拍图识款”?

    • 1.2 “拍图识款”的本质

  • 2、技术方案选型

    • 2.1 主流技术方案

    • 2.2 转转技术方案:度量学习

  • 3、“拍图识款”在转转的进阶实践

    • 3.1 整体架构设计

    • 3.2 度量学习训练

    • 3.3 落地成果

    • 3.4 可改进点

  • 4、总结

1、背景

1.1 为什么要做“拍图识款”?

商品挂接是转转二手商品质检与入仓流程中的关键环节,目标是在海量SKU库中完成商品与标准SKU的匹配。传统流程主要依赖人工判断,难以兼顾效率与一致性。在规模化场景下,引入AI识款能力可快速召回Top相似候选,辅助人工完成最终判定与挂接,在保证准确性的同时显著提升效率。

与此同时,在用户侧,“拍图识款”同样是核心能力之一。用户上传包袋图片后,希望系统能够快速识别出相同或相似款式的商品,从而完成浏览与购买决策。因此,在转转的业务中,“拍图识款”主要同时服务于两个关键链路:

●供给侧,商品挂接与入库标准化
●需求侧,以图搜商品(同款)的搜索体验

“拍图识款”并非新问题,早在2014年淘宝推出“拍立淘”,标志着图像检索在电商场景的规模化落地。此后,各大厂均构建了基于深度学习的通用图像检索体系,比如百度的拍照识图、Google Lens等。但是,包袋这个品类中,通用方案仍存在明显局限:

●复杂场景鲁棒性不足,真实业务中,包袋图片常包含背景干扰、局部遮挡等,导致通用模型易出现特征混淆,效果不佳
●细粒度区分能力不足,包袋识别关键在于图案 Logo、包型、材质纹理、颜色等细节差异,通用模型在“极似款式”中的区分能力有限
●缺乏业务闭环能力,识款能力需要全面支持 Badcase 回流、长尾款和新SKU的泛化能力等,通用模型一般难以与业务数据形成深度闭环

基于上述技术与业务约束,转转选择自研“拍图识款”系统,主要原因如下:

●面向二手场景的专用建模能力,以包袋品类率先示范,提升细粒度表达能力与检索稳定性
●持续支持业务闭环,支持 Badcase 驱动迭代、SKU 动态更新及效果可观测能力建设,实现模型能力与业务增长的持续演进

除此之外,在转转业务中,“拍图识款”不仅用于SKU检索,也是“拍图验真”的关键前置环节。其输出的品牌与系列信息会直接影响后续鉴定点位的选择及真假判断。一旦识款出现偏差,误差将在AI鉴定链路中逐步放大,最终影响整体准确性。

1.2 “拍图识款”的本质

用户拍摄一张或多张商品图片后,“拍图识款”算法的目标,是在标准 SKU 库中检索出最相似的图片,并基于其已知 SKU 信息,反推出输入图片对应的SKU。这一过程本质上就是典型的以图搜图(Image Retrieval)任务。

从技术角度来看,该问题可以抽象为一个图像相似度学习问题:对于同一SKU 的不同商品图片,其特征向量在特征空间中的相似度应尽可能高,通常使用“余弦相似度”进行度量(值越接近 1 表示越相似);而对于不同 SKU 的商品图片,其特征相似度则应被显著拉开,从而在检索空间中形成清晰的判别边界。围绕这一目标,“拍图识款”系统通常由三个核心模块构成:

●主体目标检测:从复杂背景中定位并裁剪主体区域,降低背景噪声干扰
●图像关键特征提取:将视觉信息编码为“高维向量”表示,是决定识别上限的关键模块
●向量检索系统:基于海量 SKU 向量库进行高效近邻搜索,实现 Top-K 相似SKU召回

其中,图像关键特征提取是整个系统的核心瓶颈与效果上限决定因素,直接影响识款的准确性与稳定性。其本质是为每一张图片构建一套可用于机器理解与比对的“数字指纹”,实现对视觉信息的压缩表达与语义编码。

转转图像算法团队,以包袋品类作为拍图识款示范,我们发现,包袋图片中隐藏的视觉信息并非无序分布,而是呈现出一套由粗到细的多层次特征体系:

●图案 Logo:决定品牌归属,是快速收敛候选范围的首要信号
●包型(形状):定义基础款型类别,是识别的“骨架级特征”
●材质与纹理:反映工艺与版本差异,是重要的细粒度补充信号
●五金刻印:提供高区分度信息,用于区分同系列的不同款式
●颜色:用于区分配色或限定版本

image
包袋关键部位

这些信息从整体到局部逐级展开,形成一个稳定的层次化视觉表征体系,共同构成包袋的“数字指纹”。因此,一个高质量的图像特征提取模型,本质上并非单一视觉因素的编码,而是对图案Logo、包型、五金刻印等多种视觉信号进行融合建模后的综合表达结果,其目标是在压缩信息的同时最大化类别可分性与检索稳定性。

2、技术方案选型

2.1 主流技术方案

拍图识款的主流技术路线,主要分为两类:分类模型和检索模型。

由于包袋品类具有明显的“长尾特征”,SKU 规模达到“百万量级”,若采用分类方案,本质上会面临类别空间过大、类别不均衡以及泛化能力不足等问题,因此整体效果很差。当前工业界主流方案,已基本统一为以检索模型为核心的技术架构[1],如下图所示。

image
基于检索模型的识款流程设计

从系统角度来看,拍图识款的效果主要受两方面因素影响:一是图像关键特征向量的表达质量,二是大规模向量库的检索效率与召回能力,本篇主要围绕前者展开。

在图像特征向量学习层面,对比学习(Contrastive Learning)是当前主流技术范式之一。该方法通过拉近同类样本、拉远异类样本,在特征空间中构建具有判别能力的表示。在转转的多个业务场景中,对比学习已得到广泛应用。

● 在风控业务中,采用基于 CLIP[2] 的对比学习模型,结合 Milvus 向量检索系统,实现风险图片样本的高效召回与匹配

● 在搜推业务中,基于双塔(Siamese / Two-Tower)结构的对比学习方法,将商品图片映射为向量表示,用于推荐系统召回模块,在线上带来了超过 10% 的下单提袋率提升
● 在质检业务中,通过引入自监督对比学习思想,数据增强自动构建正负样本对,在弱监督标注的情况下提升多种图像模型的泛化能力与细粒度识别能力

总体来看,对比学习已成为图像表征学习中的基础方法之一,并在转转不同业务线中承担统一的“视觉语义对齐”能力。

2.2 转转技术方案:度量学习

度量学习(Metric Learning)与对比学习本质上都属于“表示学习”范式,核心目标都是学习一个Embedding(向量表示)空间,使得相似 SKU 在特征空间中距离更近,不相似 SKU 距离更远。但二者在监督信号与优化目标上存在明显差异:

●对比学习通常以自监督或弱监督为主,通过数据增强等方式构造正负样本对,学习的是通用视觉表征能力,其核心目标是提升表示质量与泛化能力。
●度量学习则更依赖显式标签监督,通过构造样本间的距离约束,直接优化“类间可分性”与“类内紧致性”,本质上是在 Embedding空间中学习更清晰的判别边界,对细粒度识别任务更为敏感、可靠。

在包袋拍图识款场景中,这种差异显得尤为明显。

对于大量“外观极其相似”的 SKU,仅依赖通用表征学习的对比学习方法,容易出现特征聚合不充分的问题,而基于度量学习的方法则能够通过“强监督信号”,显式拉开细粒度 SKU 间的边界,从而获得更稳定的判别能力。此外,转转在包袋品类中积累了海量的“高质量”、“带SKU标签”的商品图片数据,使得基于监督信号的度量学习具备良好的数据基础。综合业务特性与数据条件,最终我们选择以“度量学习”为主的技术路线,打造转转拍图识款系统。

3、“拍图识款”在转转的进阶实践

3.1 整体架构设计

转转“拍图识款”系统整体采用检索式视觉理解架构,整体架构设计如下:

image
转转拍图识款的架构设计

用户上传商品图片后,系统首先通过主体目标检测与分割模块,从复杂背景中提取出包袋主体区域,以降低环境噪声对特征表达的干扰。随后,主体区域进入特征提取模块,通过识款 Embedding 网络将图像编码为“高维向量”表示,完成从“像素空间”到“语义向量空间”的映射。在向量空间中,系统通过与包袋向量数据库进行相似度检索,实现 Top-K 候选 SKU 召回。向量数据库中同时存储SKU Embedding 与 SKU 结构化属性信息,用于后续相似图片匹配与结果约束。最终,实现“以图搜图 → SKU 识别”的完整闭环链路。

在“拍图识款”整体链路中,为了提升复杂真实场景下的检索效果,我们在系统设计上重点做了三点优化:

1)主体目标检测 + 分割增强的双阶段建模
为降低背景干扰,系统首先需要具备对图像中主体目标的定位能力,并提取稳定的主体特征表示。但在实际实验中我们发现,仅依赖目标检测仍不足以应对复杂场景(如背景复杂、遮挡严重等)。因此,在检测模块之后进一步引入一个轻量级目标分割模型(segmentation model),对主体区域进行更精细的边界提取,从而显著提升特征纯度与识别稳定性。

2)依赖大规模 SKU 底库的长尾覆盖能力
拍图识款的效果,在很大程度上由 SKU 底库的规模与质量决定。SKU 种类越丰富、单SKU数量越多,模型在检索阶段的可匹配空间越完整。这一点正是转转在二手奢侈品领域中的核心优势之一,依托长期积累的真实交易数据与商品沉淀,构建了高覆盖度的 SKU 标准数据库,从而提升了整体识别的召回能力与长尾覆盖能力。

3)向量库的“向量 + 标量”联合检索机制
在检索系统设计上,我们不仅依赖图片向量的相似度,同时引入 SKU 结构化属性(标量信息),构建向量 + 标量的联合检索框架。

● 向量检索,负责根据图片相似度召回 

● 标量检索,包括品类、品牌、系列等,负责约束检索空间

通过两者结合,可以在保证召回效率的同时,提高结果的业务一致性与可解释性。

3.2 度量学习训练

基于度量学习的包袋拍图识款,是在百万量级包袋 SKU 中完成高精度检索匹配,主要包括数据构建与挖掘、模型训练及工程优化三个方面。

image
度量学习训练流程

3.2.1 数据构建与挖掘

1)度量学习Scaling Law
实验表明,识款模型性能与度量学习的训练数据规模呈显著正相关关系,构建百万量级 SKU + 单SKU多视角图像的训练集是模型性能的基础。

2)Badcase 驱动的数据增强
与通用数据增强方法不同,本文采用基于误判样本(Badcase)的定向优化策略:
● 收集模型高频误判样本对
● 分析误判原因(遮挡、光照、角度等),构造针对性增强数据
该方法显著提升了模型在复杂场景下的鲁棒性。

3)困难样本挖掘
在每个 batch 内进行在线困难样本挖掘(Online Hard Mining)[3],该策略使模型重点优化最易混淆的样本对,从而提升整体区分能力。

训练过程中采用 Anchor-Positive-Negative(APN)结构,Anchor(当前样本)、Positive(同 SKU 样本)、Negative(不同 SKU 样本)。其中,Negative 样本采用相似样本挖掘策略,以增强模型对细粒度差异的判别能力。

3.2.2 模型训练trick

1)相似度函数选择
采用 Cosine Similarity 作为相似度度量,其优势包括:对特征尺度不敏感、在高维空间中更稳定及向量归一化兼容等

2)学习率调度策略
采用逐步衰减(Learning Rate Decay)策略,初期使用较大学习率,加速收敛;后期使用较小学习率,精细优化 Embedding 空间。该策略有助于提高模型在细粒度区分任务中的性能。

3)度量学习损失函数
采用典型度量学习损失函数(如Triplet Loss[4]/Circle Loss[5]),该类损失直接优化样本之间的距离关系,相较于分类损失函数,更适用于大规模类别场景。

3.2.3 工程优化

1)推理服务优化
采用模型服务框架torchServe进行部署,实现多实例并行推理、批量请求处理,从而满足线上高并发需求。

2)向量检索加速
基于 Faiss 构建离线向量测试库,使用Faiss-GPU 版,在百万量级SKU底库数据下,实现30—50倍检索效率加速,便于快速筛选最优模型

3)索引更新机制
为适应动态数据增长,系统支持增量索引更新。为平衡实时性与系统开销,我们采用“小时级”更新策略。

4)阈值动态调整
在实际应用中需对 Cosine 相似度进行归一化处理,将相似度分数映射到[0,1]之间(原始范围 [-1, 1]),业务可根据需求动态调整相似度阈值。

3.3 落地成果

主要落地场景有转转商品挂接、转转APP拍图识款(回收业务)等 

1)转转商品挂接页面

image

2)转转APP拍图识款页面

image

在拍图识款效果评测中,自研模型在Top-4准确率,超过三方8%以上,特别在复杂背景图片上要明显好于三方(一线业务反馈)。

3.4 可改进点

当前包袋拍图识款仍存在“尺度无法识别”问题,由于缺乏参考物,不同拍摄条件下的包袋尺寸(大中小号)难以统一建模,后续可引入标准参照物或显式尺度建模。此外,细粒度差异主要集中在五金、纹理等局部区域,需增强局部特征建模能力,未来可进一步探索多模态识款方法,引入文本与结构化属性信息,实现“图+文”联合检索。

4、总结

“拍图识款”本质是以图搜图,通过主体检测、特征提取与向量检索,在海量SKU数据库中完成“款式匹配”。其核心在于学习图像Embedding,构建细粒度SKU图片的“数字指纹”。在包袋场景中,需融合图案Logo、包型、材质纹理、颜色与五金等特征,实现多层次表达。相比分类方案,检索方案更适合大规模长尾SKU。转转采用以“度量学习”为核心的技术方案,通过监督学习“类内紧致性”与“类间可分性”,并结合困难样本挖掘,提升细粒度识别能力。在工程层面,结合TorchServe与增量索引更新机制,实现高效线上服务。整体技术方案已在转转商品挂接与C端识款等场景落地,未来将探索多模态融合以提升识别效果。

参考资料 

[1] Deep Ranking for Image Similarity. 

[2] Radford A, et al. Contrastive Language–Image Pre-training (CLIP). 

[3] Hermans A, et al. In Defense of the Triplet Loss for Person Re-Identification. 

[4] Schroff F, et al. FaceNet: A Unified Embedding for Face Recognition and Clustering. 

[5] Wang W, et al. Circle Loss: A Unified Perspective of Pair Similarity Optimization.

跳转微信打开

Notion 在中国用于团队协作的可行性分析

2026年4月14日 22:05

原创 二一的笔记 2026-04-14 22:05 福建

有点枯燥,没事不用读

前言

过去几年我不曾过多提及 Notion 在团队协作方面的应用,原因无他,就是权限管理可分配的层级太少,特别是当涉及到数据库的多人协作,权限要么过度开放要么过度封闭,没有中间地带,使得很多场景根本无法用 Notion 来协作。

但好消息是,Notion 在最近一年持续补齐了权限体系的关键能力,引入了更细致、更灵活的权限管控功能。再加上 Notion 几乎是最强的知识库 Agent 能力,两个因素加在一起让我开始认真思考:

如果你是一个中国的中小型团队,选择 Notion 作为团队协作、文档管理、以及团队知识库中枢,会不会是一个好的选择?

所以我花了几天时间把所有的 Notion 协作场景测试了个遍,终于写出这么一篇文章,如果你正好在研究这个需求,应该能给你一些帮助。

下面是这篇文章会覆盖的重点:

  • • Notion 的账号体系

  • • 页面共享规则

  • • 数据库权限规则

  • • 成员用团队协作空间

  • • 实际协作体验

  • • 什么样的团队适合 Notion

📢

广告时间

Notion 是我认为最适合知识工作者的生产力工具,如果你想用 Notion 把你的目标、知识和行动串成一套完整的工作流,可以看看我做的 FLO.W 思流 模板,已经帮助将近 1500 个用户搭建起了自己的 AI 知识库。

更详细的模板介绍请见:
21notion.com

Notion 的账号体系

首先我们需要对 Notion 的账号体系建立一个整体的框架。

一个邮箱可以注册一个 Notion 账号,然后一个账号可以创建多个工作空间(Workspace)

每个工作空间都是一个功能完整的、数据互相独立的 Notion 笔记库。如果你用过 Obsidian,那么 Notion 的工作空间约等于 Obsidian 的仓库(Vault)。

默认情况下,你既是这个空间的管理员,也是这个空间的成员(Member),如果你的 Notion 从始至终只有你一个人用,也不涉及到任何分享或协作,那么这篇文章到此结束,后面的内容都不需要再看了。

但如果你需要把 Notion 里的某个页面分享给其他人,那么就需要开始涉及「乍一看有点复杂,但搞懂之后其实很简单」的 Notion 权限体系,让我们先从最小的权限单位「页面」开始讲起。

页面发布与共享

Notion 的每个页面都可以选择共享或者发布

  • • 发布:任何拥有页面链接的人都可以访问

  • • 共享:只有被邀请的人才能访问页面

当用户被邀请共享,他就成为了这个页面的访客(Guest),然后你可以为他分配四种不同的页面权限,分别是:可以查看、可以评论、可以编辑、全部权限;前三个比较好理解,第四个「全部权限」意味着你的访客可以继续邀请其他人加入这个页面。

因此如果你不希望这个页面被扩散访问范围,给他「可以编辑」就够了。

如果你要分享的只有一个单一的页面,则情况就很容易处理,但当你的页面开始有层级结构,也就是父页面下嵌套了子页面,那权限行为就会稍微复杂一点点。

父子页面权限

基础规则

子页面会默认继承父页面的权限,也就是说如果你把父页面分享给了某人,这个人自动就能访问父页面下的所有子页面。

但你也可以进入子页面,然后给这个子页面单独授予不同的权限。比如父页面你只给了「可以查看」的权限,你可以在子页面里单独给这个人「可以编辑」的权限,或者把这个子页面的访问权限关掉。

切断权限继承

一旦你在子页面上设置了比父页面更低一级的权限,比如父页面是更高一级的「可以编辑」,然后你为子页面设置了仅「可以查看」,那么父子页面之间的权限继承链就会被切断。

也就是说,即便这个时候你重新给父页面授予「全部权限」,子页面的「权限」也不会有变化,因为这个链条已经被切断了。这个时候你需要单独去那个子页面上点击「恢复设置」,才能让这个用户拥有和父页面相同的权限。

上述逻辑在数据库中同样适用,不过「数据库」会比「页面」这一单位再进一步复杂一点。

数据库分享协作

基础规则

数据库中的每个条目本质上就是一个页面,权限继承的逻辑与前面讲的父子页面完全一致:共享整个数据库,用户能看到库中所有页面;只共享其中某个页面,用户就只能看到那一个。

同样的,如果你在某个页面上手动取消了用户的权限,即使之后重新对整个数据库授予「全部权限」,那个页面的权限也不会自动恢复,这与前面提到的「权限断链」效果一致。

另外数据库还有一个新的权限叫「可以编辑内容」,意思是用户可以修改数据库页面正文的具体内容,但不能修改数据库本身的结构,比如删掉属性、修改视图、排序、筛选等条件。

因此如果你希望某个协作者能在数据库里正常填写内容,但不想让对方误操作了数据库的基本框架,给他「可以编辑内容」的权限将是比「可以编辑」更安全的选择。

只读 + 可创建

假设你用 Notion 建了一个需求收集库,希望协作成员都能往里提交需求。你给了大家「可以编辑」的权限,结果第二天发现有人把别人的需求改了,有人不小心删掉了好几页,还有人把视图的排序条件调乱了。

你想收回编辑权限,但一旦改成「可查看」,大家又没法提交新需求了。

Notion 针对这个场景提供了一个权限组合,也就是只给用户整个数据库的「可查看」权限,同时额外允许他在数据库中创建新页面。这样用户既能看到数据库里的所有页面(但不能编辑),又可以自己新建页面,且仅拥有自己新建的那个页面的编辑权限。

不过需要注意的是,上面的「允许创建新页面」有一个前提就是,用户必须至少拥有整个数据库的访问权。如果你没有把整个数据库分享给这个用户,而是只单独分享了库中的某几个页面,那么即使你勾选了「允许创建页面」,这个用户也是不能在数据库里新建页面的。

那如果你既需要能让这些用户创建页面,又不想让他们看到整个数据库,该怎么办?

方法一、创建独立页面并分享

  1. 1. 新建一个页面,在页面中放置这个数据库的镜像视图

  2. 2. 对数据库进行过滤,筛选出这个用户能够访问的特定页面

  3. 3. 把这个页面分享给这个用户

这样一来用户既能看到页面中的数据库,也能在数据库中新建页面,但不能访问他没有权限的其他数据库页面。

方法二、创建表单让用户填写

  1. 1. 在数据库中新建一份表单

  2. 2. 分享表单链接给用户,用户就可以提交新的内容(创建新的页面)

更精细的数据库权限控制

前面讲的所有数据库规则,都是需要你先想好谁该有什么权限,然后再手动去设置。但 Notion 还提供了一种不同的思路,可以让权限跟着你的业务逻辑走。

在数据库中,你也许会给每个页面分配「负责人」「审阅者」「客户归属」这类人员字段,这些字段反映的是你的业务关系,而 Notion 的「页面级访问权限」可以把这些业务关系直接转化为权限规则。

谁是创建者,谁就能获得全部权限;谁被标记为负责人,谁就获得编辑权限;谁被标记为审阅者,谁就自动获得评论权限。

当一个项目从员工 A 转交给员工 B,你只需要在「负责人」字段里把 A 换成 B,这个页面的编辑权限就自动转移给 B 了。

具体来说你可以这样做

  1. 1. 在数据库中创建一个「人员」字段

  1. 2. 进入数据库页面,然后为「人员」字段添加对应的负责人

然后在数据库的共享菜单中,找到「页面级访问权限」,为指定的「人员」属性创建一条权限规则,例如设为「可以查看」。规则生效后,只要你在某个页面的这个「人员」字段中添加了谁,谁就自动获得对应的「可以查看」权限。

到这里,Notion 在单个页面和数据库层面的权限能力基本覆盖完了,从单页分享、继承断链、数据库权限,到人员字段自动分配,足以应对大多数内容层面的协作需求。

但上面这些操作,大部分都是在「访客」身份下完成的。什么是访客?当你通过邮箱邀请某人查看或编辑一个页面时,对方默认就是以访客(Guest)的身份加入你的工作空间,只能访问你明确分享给他的内容,对工作空间的整体结构毫无感知。

访客模式在小范围协作时足够用,但当团队开始正式组建,逐页分享就不够了,你需要一套更系统的权限管理方案,这时候就轮到「成员」和「团队协作区」登场了。

团队协作区

打开 Notion 的侧边栏,你会看到两个区域,分别是私人区域(Private)和团队协作区(Teamspace),私人区域顾名思义只有自己能看到,而团队协作区则可以对其他成员开放。

虽然名字带着「团队」,但团队协作区并不是只有协作才用得上。

你完全可以把它当成顶层文件夹来用,把不同类型的内容和 Private 区隔开。比如你可以为不同的主题创建不同的团队协作区,侧边栏一眼就能看到结构,不用层层点进去翻。

所以即使你是一个人在用 Notion,团队协作区作为顶层的内容分区就已经很实用了。而当你确实需要多人协作的时候,它还能在这个基础上叠加权限管控。

当访客不够用时

前面讲的页面共享、数据库权限都是在解决一个问题,即你怎么把某些内容开放给别人。访客机制在小范围协作里已经很好用了,尤其适合临时合作、外部沟通,或者只需要接触少量内容的场景。

但当协作开始变成一件长期的事,你就会开始思考,这个人要不要进入我的整个工作空间,持续参与这里的内容生产和组织?到了这一步,访客身份就不太够用了,你需要考虑的会是另一个层级,也就是成员(Member)。

邀请成员

在 Notion 中邀请一个人成为成员,有两个不同的入口

  1. 1. 在工作空间的设置中邀请对方成为「工作空间成员」

  1. 2. 在某个团队协作区中直接邀请对方成为该团队协作区的成员。

不论哪种形式,当你邀请了一个新的成员加入,就需要为这个席位单独付费。当然邀请的前提是,这个成员需要先拥有一个 Notion 账号(邮箱)。

当他接收到你的成员邀请后,他的账号下就会出现你的工作空间

他可以点击进入这个专门用于协作的工作空间,在这个空间下他会拥有独立的私人区域,每个成员的 Private 笔记都是互相不可见的,在这里创建的内容只有自己可见。

同时,他也能看到你创建的团队协作区

不过如上图所示,有的团队协作区他默认就加入了,有些团队协作区则只出现在列表里,需要请求才可以加入,这是为什么呢?

回到你的视角,当你创建一个团队协作区的时候,你可以同时设置它的「可见性」

不同的可见性分别适用于不同的需求和场景:

默认 :新成员加入工作空间的那一刻就自动成为这些协作区的成员,不需要任何额外操作。如果你的团队有一个「全员公告」或「公司知识库」类型的协作区,设成默认就不用每次有新人入职都手动拉一遍。

开放式 :新成员能在侧边栏里看到它的存在,但需要主动点击加入。适合那些「不是所有人都需要,但感兴趣的人可以自己加」的协作区,比如某个兴趣小组或跨部门项目。

封闭式 :新成员能看到这个协作区的名字,但点进去会发现需要管理员审批。适合有明确归属的部门协作区,比如「设计团队」或「财务部」,你不希望其他人随意进出,但也不需要藏着不让人知道。

私人:没被邀请的人不会知道它的存在,适合管理层讨论、薪酬方案、保密项目这类场景。

所以前面那个新成员看到的现象就可以解释了,有的协作区他一进来就自动加入了,是因为你设成了「默认」;有的只能看到名字但需要申请,是因为你设成了「开放」或「封闭」;而那些你不想让他知道的协作区,就可以设置为「私人」。

成员能做什么

这个成员加入后实际能做什么,还取决于你给他分配的角色。

假设你给他分配的是「可编辑」权限,他会发现自己可以正常编辑协作区里的页面内容,但想把侧边栏里的某个页面拖到另一个位置时,发现拖不动;想邀请一个同事进来一起看,发现没有邀请入口。

这是因为团队协作区里的很多能力都是单独的开关,包括编辑页面、移动页面、邀请成员、创建子页面等等,你可以逐个决定要不要开放给普通成员。

作为协作区的所有者(创建者默认就是所有者),你拥有以上所有能力。所以如果成员发现自己在协作区里「该有的按钮没有」,大概率是你没有把对应的开关打开。

群组

前面讲的所有权限操作,不管是分享页面、设置数据库权限、还是管理团队协作区的成员,都是针对「某个人」来做的。人少的时候没问题,但当团队人数多起来之后,你会发现自己在反复做同样的事:每次有新人入职,要把同样的页面、数据库、协作区再分享一遍;有人离职,又要一个个去收回。

群组就可以用来解决这个问题,你可以把多个成员放进一个群组,然后用群组为单位来分配权限。新人入职时,把他加进对应的群组,他就自动获得这个群组已有的所有权限;离职时,把他移出群组,权限就自动收回。

创建群组

在「Notion 系统设置 - 人员 - 群组」中可以创建和管理群组,比如你可以按部门建群组:「设计团队」「开发团队」「运营团队」,也可以按角色建:「管理层」「实习生」等等。

如何使用

群组创建好之后,几乎所有你能分配权限给「某个人」的地方,都可以换成分配给「某个群组」。

之前讲页面共享时,我们都是填邮箱邀请某个人,但如果你有一份文档需要让整个设计团队都能看到,直接把「设计团队」群组加进去就行了,之后设计团队新来了人,只要把他加进群组,他就自动能看到这份文档。

数据库的共享菜单里,同样可以把群组作为权限对象。比如你想让「运营团队」对某个数据库只能查看不能编辑,直接给这个群组设置「可查看」权限就行,不用一个个人去设置。

前面讲到的团队协作区也可以把群组加为成员。比如你创建了一个「技术部」协作区,直接把「技术部」群组拉进来,群组里所有人就自动成为这个协作区的成员。

并且你还可以在页面的评论或者段落的评论中,用 @ 的方式来呼叫整个部门,或者将通知发送给特定的群组,这样就不用一个个地 @ 了

实际协作体验

花了大量篇幅终于讲完了所有重要的权限设置,如果不搞懂这些,什么流程都搭不起来。不过真正决定一个团队愿不愿意留在 Notion的,可能还是实际的协作体验更重要。

所以接下来我会快速介绍一下,如果你选择用 Notion 来协作能获得什么样的效果。

实时协同编辑

Notion 支持多人实时编辑同一个页面,不会出现内容覆盖或冲突的问题,每个人的编辑会实时同步到所有人的屏幕上,不需要手动刷新。你能实时看到其他人的光标位置和正在输入的内容,页面右上角会显示当前正在查看或编辑这个页面的成员头像。

另外 Notion 也有完整的页面编辑历史,你可以查看任意时间点的页面快照,也可以把页面恢复到之前的某个版本。免费版可保留 7 天的编辑历史,Plus 版 30 天,商业版 90 天,企业版则不限时间。

异步评论沟通

Notion 的协作沟通主要靠评论系统,分为两种形式:

  • • 页面评论:在页面顶部的讨论区发起,

  • • 行内评论:选中页面中的某段文字,直接在旁边添加评论

两种评论都支持 @ 提及特定成员或群组,被 @ 的人会在通知中心和邮箱收到提醒。

对于围绕文档展开的异步协作,这套机制是够用的。评论天然挂在内容旁边,上下文不会丢失,比在微信群里讨论一个文档细节要高效得多。特别是当你需要对一份方案做多轮修改时,每一轮的反馈意见都能定位到具体段落,不会出现「你说的是哪一段?」这种沟通损耗。

编辑建议

除了评论之外,Notion 还有一个功能叫编辑建议(Suggested Edits)的功能,拥有「可以评论」及以上权限的人,可以直接在页面上建议增加、修改或删除内容。

建议的改动会以「蓝色增加」与「灰色删减」的方式标记在页面中,段落旁边还会出现一个小卡片,页面所有者(或拥有编辑权限的人)可以逐条接受或拒绝这些建议,也可以在卡片里回复讨论。

归档页面

团队用 Notion 时间久了,工作区里一定会积累大量过时的页面,比如去年的项目计划、已经结束的活动方案、不再维护的文档。这些页面删掉可惜,留着又会干扰搜索结果和 AI 回答的准确性。

Notion 在今年 3 月上线了归档(Archive)功能来解决这个问题。

你可以把过时的页面标记为归档状态,归档后页面顶部会出现一条横幅,显示是谁在什么时候归档的。归档页面默认不会出现在搜索结果、侧边栏和数据库视图中,但你随时可以通过筛选条件把它们调出来查看。

归档和删除的区别在于,归档只是被搜索结果隐藏了,页面本身完好无损,所有链接和引用依然有效,需要的时候一键取消归档就能恢复。如果你归档一个父页面,它下面的所有子页面也会自动跟着归档。

对于团队来说,定期归档过时内容可以显著提升搜索效率和 AI 回答的质量,因为 AI 在检索工作区内容时会自动跳过归档页面,减少被过时信息误导的概率。

AI 语音会议

Notion 在 2025 年推出了 AI 语音笔记功能,可以在会议中自动录音并生成转录文本。

会议结束后,AI 会在几秒内整理出一份结构化的摘要,包括讨论要点、行动项和后续待办,直接保存为一个 Notion 页面。2026 年初这个功能又扩展到了移动端,意味着你不带电脑参加会议也能用手机录制语音并转译了。

这样一来,每次会议结束后,AI 就会自动将全文进行转录,并提取结构化的重要信息,团队成员可以随时回顾,也可以直接从摘要中提取行动项分配给对应的负责人。

Agent 协作

Notion 目前的 Agent 能力已经不只是「帮你写几句话」的水平了,我为此写了一系列的长文,如果你感兴趣的话可以阅读以下两篇文章:

在团队场景下,Agent 是真的可以节省大量的工作时间,举几个具体的例子:

  • • 有人提需求,自动分类并分配给对应负责人

  • • 有人写文档,自动生成摘要供其他成员检索

  • • 任务状态变更,自动通知下游协作者接手

  • • 客户来信,自动建项目并拆任务给团队成员

  • • 定时汇总多库进度,推送简报给管理者

  • • 会前自动备好上下文,参会人直接进入讨论

  • • 串联自动化流水线,衔接不同角色的工作

  • • 基于知识库自动应答客户,替新人兜底

这些能力的核心价值在于,它把很多「人人都知道该做,但没人愿意花时间做」的整理工作自动化了。对于五到十人的小团队来说,可能省下来的就是每天至少一个小时的琐碎操作。

不过需要说明的是,这些自动化能力目前还需要一定的配置门槛。你需要懂得如何设计数据库结构、编写 Agent 指令、设置触发条件,因此不是开箱即用的。所以它更适合团队里有人愿意花时间深入研究 Notion 的情况。

总体评价

这次测试下来,我最大的感受是 Notion 在协作权限这件事上,终于跨过了「只是能用」的阶段。从单页面分享、数据库的「可编辑内容」与「只读 + 可创建」组合,再到基于人员字段的页面级自动权限分配,整套逻辑已经可以覆盖一个中小团队的绝大多数协作场景了。

当一个工具在这种基础设施层面做到了这个程度,你自然会对它的上限更有信心,也更愿意花时间去探索其他的可能性。

📢

广告时间

Notion 是我认为最适合知识工作者的生产力工具,如果你想用 Notion 把你的目标、知识和行动串成一套完整的工作流,可以看看我做的 FLO.W 思流 模板,已经帮助将近 1500 个用户搭建起了自己的 AI 知识库。

更详细的模板介绍请见:
21notion.com

当然权限只是协作的地基,真正决定团队愿不愿意留在 Notion 的,是日常协作体验能不能跟上。目前来看,文档协同编辑、评论系统、编辑建议这些能力已经足够支撑异步协作,AI Agent 还能在此基础上接管大量重复性工作。但即时通讯的缺失意味着 Notion 还没法成为团队协作的唯一入口,它更适合作为知识和流程的中枢,而不是沟通的中枢。

毕竟就算是 Notion 官方,他们也需要搭配 Slack 一起使用呢。

中国团队如何选择

与国内主流工具的差异

如果你在考虑 Notion,大概率也在同时考虑飞书或者钉钉。这几个工具各有侧重,但因为我个人并不完全了解其他几款工具,因此只能从我能看到的关键差异点去进行对比。

软件生态环境
Notion 显然是一款面向「外国人」的产品,因此能够与之联动的软件生态并不包含国产软件,但也正因为这个原因,如果你的工作与 Figma、Github、Liner 或者是谷歌生态更为紧密,那么 Notion 与这些工具的联动将能获得最好的效果。
并且作为 Anthropic 前十的 Token 消耗大户,Notion 对最新 AI 模型的支持(例如 Gemini、Claude、GPT)是最快且最好的,因此如果你的团队更看重 AI 方面的能力,那么 Noiton 会更比国内的协作工具更有优势。

协作沟通方式
如果你的团队习惯了飞书或者企微那种 IM 即时聊天沟通的协作,比如在群聊里直接分享文档、讨论完一键转任务、文档更新自动推送到群里,那么 Notion 目前做不到这些,因为它没有自己官方的即时通讯工具,因此所有沟通都必须发生在 Notion 生态内部,或者像官方一样搭配第三方的 IM。
如果你的团队以异步协作为主,大家习惯按自己的节奏处理工作,这个限制就不太影响。

数据安全
任何云端产品的数据安全都是个老生常谈的问题,即便是飞书、钉钉也无法避嫌,对于 Notion 这样一款服务器在境外的工具就更是如此。
只能说我个人的判断是,对于 Notion 这样一款正在飞速发展的产品来说,倒闭跑路一说是绝无可能,但任何成熟的团队都应该都数据安全保持敬畏之心,定期导出全库笔记备份才是上策。幸好 Notion 早已支持全库导出为 Markdown、PDF 或者是 HTML 格式,也算是个难能可贵的有点了。

短板有多短

在做出选择之前,还有几个更重要的问题需要考虑。这种工具的选择不在于长板有多长,而在于最短的那块短板你是否能够接受。

1. 价格不低
Notion 的免费版功能已经非常齐全,但如果想在协作上好用,至少得订 Plus 版本,每个席位每年 120 美元,如果想再加上 AI 功能,则需要上商业版,每个席位每年 240 美元。

2. 迁移难度
如果你的团队已经在飞书、钉钉或者其他平台上跑通了一套成熟的协作流程,迁移到 Notion 的成本会比你预期的高。适应期、培训、协作中断这些都需要提前考虑。
而且 Notion 和国内主流工具的使用逻辑差异比较大,如果团队成员连文档怎么建、数据库是什么都不清楚,前期的学习曲线会比较陡。所以如果你决定要推这件事,最好确保推动者既是团队里最懂 Notion 的人,也有足够的决策权,遇到阻力的时候才推得动。

3. 访问难度
你的团队需要愿意为了用上最好的 AI 和 Agent 能力,去克服网络稳定性和支付便利性方面的一些小障碍,这点就不展开细说了。

什么样的团队适合

选择 Notion 作为协作工具与知识库中枢,不能靠拍脑门决定,不能因为肤浅的或者花哨的功能而动心,毕竟个人笔记迁移尚且困难,团队文档迁移的难度就更加巨大了。

我认为只有符合以下 3 个特征的团队才有必要将 Notion 纳入考虑。

1. 追求更高工作流上限的团队
愿意花时间去沉淀知识库、雕琢协作流程,想把 AI Agent 深度融入日常工作,而且团队成员至少有基础的 Notion 使用经验。满足这些条件,Notion 带来的回报会非常高。

2. 核心产出是知识密集型工作的团队
比如内容创作、产品设计、咨询、研究。日常产出的就是文档、方案、知识库,Notion 能把这些分散的知识组织起来、关联起来,让信息在团队内部流动而不是沉没在各自的文件夹里。

3. 愿意把工作空间当成长期资产去经营的团队
Notion 的回报是复利式的,数据库结构、权限规则、Agent 工作流,用的时间越长,积累的信息越多,效率提升就越明显。我愿意花几天时间写这篇文章,说到底是因为我觉得 Notion 对知识工作者来说是真的好用。
它和其他所有文档类、知识库类的产品都不一样,它能提供的上限是最高的。目前最前沿的 AI 公司,比如 OpenAI 和 Anthropic,内部都在用 Notion,这也从侧面验证了一点,在知识密度最高的团队里,Notion 的协作能力经得起检验。

以上就是我这次测试下来的全部感受和建议,每个团队的情况不同,适合的工具也不同,我能做的就是把我实际测过的东西尽量写清楚,但肯定还有很多角度和场景无法一一涉及,因此如果你在实际使用中遇到了什么问题,欢迎在评论区留言,我会为你解答。

对了,如有需要,也欢迎购买我的 Notion 模板,这将能激励我创作更多优质内容,感谢大家支持 🙋‍♂️

阅读原文

跳转微信打开

明白Harness诞生初衷,你就知道该怎么做了

2026年4月14日 14:56

二姐存钱罐 2026-04-14 14:56 北京

遇到一个陌生英文harness,可能无意中会给很多人带来思想包袱。

但其实Harness 很简单,明白harness诞生的初衷,你就恍然大悟:

其实harness 是为了让Agent执行长任务(比如解决无人值守开发的问题)而诞生的。

我个人理解,需要长期维护的项目也可以用harness engineering。

比如有朋友问:

“如果用AI Coding工具在之前很大的一个系统上去迭代,应该怎么做呢。不可能把之前的页面全部做一遍吧。”

Harness正好适用这个场景。

如果你再结合图中构建最基础的harness engineering的三步(这里尚未引入评估器,后续进阶步骤会有),就会更加明白为什么它可以用在这种场景。

三步都已经总结成skills,放在这里分享:

https://claudeleakage.com/zh/opensource-for-dev/。

大家拿到后安装,直接调用skills就可以完成项目基础的harness engineering建设了,定期跑一下,对项目的长期维护有很大好处。

第一步: 做一个项目地图,像一个索引一样。 Agent每开始一个任务,首先来这个看索引,找到它应该去看的内容。比如Agent要新增一个页面,它看到这里会有一个design标准、前端框架文档,就会倾向于从众多文档中读这两个文档。

第二步:在地图里的各个文档中查找具体标准和详细内容。比如架构文档architecture.md中,会有项目采用的前、后端框架等等。

前两步解决了横向的内容广度问题。

接下来的一步要完成纵向的时间维度问题,也就是长任务会拆成若干个子任务,如果把一个长任务都放在一次对话中,会产生记忆爆炸的问题,这时候任务的衔接就会需要用到第三步。

第三步:对话管理。它像一个项目进度记录一样,记录了现在有什么任务还没有完成,当前进行的任务的进度 Progress.md等等。 这样,每次开始新任务,Agent可以触发总结之前的任务进度,以便后续任务作为上下文使用。

以上三步是基础,harness engineering的进阶版需要引入评估器,但这玩意还是挺消耗token的,因为每次都要对已经完成的任务进行评估、测试,耗时、耗力、耗钱,平时用这三步基础的就够。

跳转微信打开

NVIDIA DWDP:NVL72 上的分布式权重数据并行推理

2026年4月13日 21:02

原创 AI闲谈 2026-04-13 21:02 广东

一、引言

简单介绍一下 NVIDIA 最近在 GB200 NVL72 针对 MoE 模型的一个 Inference 优化工作,需要说明的是,这不是一个万能的解决方案,有很多约束,比如主要适合 Prefill 阶段,TPS/User 要求不能特别高,输入序列长度也不能特别大。除此之外,提升也不是非常明显。

对应的论文为:[2604.01621] DWDP: Distributed Weight Data Parallelism for High-Performance LLM Inference on NVL72 [1]

相关工作可以参考笔者之前的文章:

二、摘要

LLM Inference 越来越依赖多 GPU 执行,但现有的 Inference 并行策略需要进行层间跨 Rank 同步,导致 End2End 性能对 Workload 不均衡异常敏感。

本文中,NVIDIA 提出 DWDP(Distributed Weight Data Parallelism),在保持数据并行执行的同时,将 MoE 权重卸载到 Peer GPU 并按需获取缺失专家的 Inference 并行化策略。通过消除跨节点全局同步操作,每个 GPU 都可以独立进行 Inference 计算。进一步通过两项优化——分片权重管理与异步远程权重预取——解决了该设计的开销问题。

作者在 TensorRT-LLM 中实现,并在 GB200 NVL72 机器上使用 DeepSeek-R1 验证,在 8K 输入和 1K 输出条件下,当服务吞吐量处于 20-100 TPS/User 区间时,DWDP 在保持相当 TPS/User 的同时,将 End2End 输出 TPS/GPU 提升 8.8%。

PS:需要说明的是,本文的方案只适合 Prefill 阶段,因为 Prefill 阶段许多 Token 同时 Forward,在任何一层基本上都会激活所有 Expert,在这一假设下,可以提前预取下一层的所有缺失专家。如果是 Decoding 阶段,则会涉及预取哪些 Expert 的问题。

三、背景

3.1 分布式并行同步开销

LLM 越来越大,单个 GPU 难以容纳模型权重和 KV Cache,对于较大模型,通常会采用多个 GPU 共同部署。为此,通常会在 Hidden 维度使用 TP(Tensor Parallelism)、MoE 部分使用 EP(Expert Parallelism),甚至在层间使用 PP(Pipeline Parallelism)。虽然它们在模型切分方式上有所不同,但都需要在层边界处引入同步操作。

在现实的 LLM Serving 场景中,各个计算单元的 Workload 可能不太均衡,这种逐层跨 Rank 同步的局限性越来越明显。比如表现在:

  • 在 Request 层面,输入序列的长度不同,命中的 Prefix Cache 不同,导致计算和内存访问存在差距。

  • 在 Weight 层面,各计算单元激活的模型计算量可能不同,比如 MoE 中,热门 Expert 可能承载更多 Token。

如下图 Figure 1 所示为大规模 MoE 模型中常用的 EDP(DP 和 EP)策略(Attention 部分采用 DP、MoE 部分采用 EP)。如(b)所示,其中同步开销占比达到 12%,来自两个部分,如下图 (a)所示:

  • DP 部分 Request 的不均衡,导致 MoE 之前的 All2All 有同步等待的 Bubble。

  • MoE 部分 Expert 负载的不均衡,导致 MoE 之后的 All2All 同样有同步等待的 Bubble。

3.2 快手 PROBE

在 [2602.00509] PROBE: Co-Balancing Computation and Communication in MoE Inference via Real-Time Predictive Prefetching [2] 中,针对 MoE EP 中动态负载不均问题(计算负载较重的 Expert 所在的设备也要承担更大的 All2All 通信开销),作者提出 PROBE:把 “事后补救(reactive)” 改为 “提前准备(proactive)”。具体来说,在当前层运行时,系统并行地为下一层做三件事:

  • Predict(Gate-Initialized Lookahead Predictor):预测下一层激活的 Expert。

  • Plan(Hardware-Aware Balance Planning):算出复制哪些 Expert、如何分 Token。

  • Prefetch(Phase-Locked Co-Scheduling):提前把 Expert 权重搬到目标 GPU。

PS:关键是把这三个辅助步骤全部隐藏到主流水线的空隙里,不阻塞关键路径。如下图 Figure 10 所示,上述 3 个辅助步骤均隐藏在相应的主流水行过程中:

3.3 Sea-AILab On-Demand Communication

在 [2601.19362] Revisiting Parameter Server in LLM Post-Training [3] 中,针对 LLM SFT/RL 中样本序列长度不均衡,FSDP 逐层集合通信导致 Straggler 拖累问题,作者引入了参数服务器思想,用 ODC(On-Demand Communication)把同步粒度从 “每层” 放宽到 “每个 minibatch”,从而显著减少 Bubble,提升吞吐,实验最高加速 36%。

  • 如下图 Figure 1 所示为传统的 FSDP 方案,每个 F 和 B 后都需要集合通信同步,导致大量 Bubble。

  • 如下图 Figure 2 所示为 ODC 方案,可以大幅降低 Bubble 率。

ODC 方案不改变训练语义(仍需要同步优化),主要是修改了通信方式:

  • 将 All-Gather 集合通信(Figure 3 左图)拆分为点对点 Gather 操作(Figure 3 左图按需拉取参数分片)。

  • 将 Reduce-Scatter 集合通信(Figure 3 右图)拆分为点对点 Scatter-Accumulate 操作(Figure 4 右图)。

传统的 FSDP(NCCL)是双边通信模式,GPU A 想要从 GPU B 拉取数据,GPU B 必须停止当前的计算并响应请求。为了满足 “按需、非侵入” 的单边通信模式,ODC 采用了如下机制,GPU A 从 GPU B 拉取数据时 GPU B 无需停下计算操作:

  • 节点内使用 CUDA IPC。

  • 节点间使用 NVSHMEM。

除此之外,ODC 允许不同设备处理不同数量的 Microbatch,因此可以把负载均衡目标从 Microbatch 级提升到 Minibatch 级。比如上图 Figure 2 中:

  • Device 0:短 Batch(3F + 3B)+ 长 Batch(3F + 3B)。

  • Device 1:长 Batch(3F + 3B)+ 短 Batch(3F + 3B)。

四、方案

4.1 方案概览

如下图 Figure 2 展示了 DWDP 的核心思想。为适配完整模型,DWDP 在保持跨 Rank DP 执行的同时,将 MoE 权重卸载至 peer GPU。主要针对 MoE 权重,其在模型参数量中占绝大部分,而 Attention 权重仅占相对较小比例。每个 Rank 存储完整 Attention 参数,仅存储部分 Local Expert 参数。在执行 MoE 前,Rank 按需获取缺失的 Remote Expert。

运行时:

  • DWDP 将第 𝑙+1 层缺失的所有 Remote Expert 异步预取,与第 𝑙 层 Attention 模块计算 Overlap。为维持跨层流水线,DWDP 采用双缓冲机制进行预取。(PS:Prefill 阶段,大概率激活所有 Token)

  • 在执行第 𝑙+1 层 MoE 模块前,Rank 等待所有 Remote Expert 到达。

  • 该层执行完之后,预取的 Remote Expert 立即被释放。

为了避免跨 Rank 的同步,DWDP 不使用基于 NCCL 的远程权重 AllGather 集合通信操作;此外,基于 NCCL 的传输还会占用 SM 资源,可能干扰计算过程。相反,各 Rank 通过基于 Copy Engine 的 cudaMemcpyAsync 从 peer GPU 拉取 Remote Expert,不占用 SM 资源,避免跨 Rank 同步。当某层所需 Expert 全部到达后,各 Rank 可独立执行 Forward 而无需等待其他 Rank。从分离式服务的视角来看,每个 Rank 都是独立的 Inference Worker,可独立接收 Request 并返回 Response。

除了实现完全的异步 Inference 外,DWDP 还为 Expert 放置提供更大的灵活性,不再要求 Expert 数量必须被 DWDP Group 规模整除,也不要求跨 Rank 的 Expert 分布完全互斥。相反,必要时可以允许放置冗余 Expert。条件允许时,冗余机制还能通过增加各 Rank 的 Expert 数来降低远程预取开销。

然而,由于权重分为 Local Expert 和 Remote Expert,DWDP 需要高效的权重管理机制。此外,远程权重预取可能引入通信侧开销,包括通信-计算干扰以及源 Rank 处的多对一竞争。

4.2 初步分析

作者采用 layer-wise Roofline 模型来识别 DWDP 何时能够超越 DEP,以及限制收益的因素。此分析主要聚焦 DeepSeek-R1 在 GB200 上执行 Prefill 阶段,对 DWDP4 和 DEP4(Group Size 为 4)进行比较。

  • DWDP 的每层 Latency 建模为 𝑇DWDP = max(𝑇compute, 𝑇prefetch),𝑇prefetch 为 Expert 预取时间。

  • DEP 的每层 Latency 建模为 𝑇DEP = 𝑇compute + 𝑇all2all,𝑇all2al 为 EP 的 All2All 通信时间。

为了估算 𝑇compute,首先使用标准 Roofline 近似法对每层中的算子进行建模,对于计算量为 F,内存访问为 B 的算子,其时延估算公式为 𝑇op = max(𝐹/𝑃peak, 𝐵/BWmem),其中 𝑃peak 和 BWmem 分别代表硬件计算峰值吞吐和内存带宽。将 Attention 和 MoE 算子时间累加得到 𝑇compute。

基于该模型,重点关照两个衍生指标:

  • 𝑇compute/𝑇prefetch 比值(反映 DWDP 能否隐藏 Remote Expert 预取时间)。

  •  𝑇DEP/𝑇DWDP 比例(体现 DWDP 相对 DEP 的预期优势)。

如下图 Figure 3 展示了 Batch Size 为 1 时,这两项指标随着输入序列长度变化的分布:

  • 在约 16K Token 时,DWDP 开始超越 DEP 的性能。随着输入序列长度(ISL)的增加,这一优势愈加明显,表明较长的上下文提供了足够大的计算窗口,摊销并最终掩盖远程预取开销。增大 Batch Size 会扩展计算窗口,从而使得 DWDP 即使在较短的上下文中也能展现出优势。

  • DWDP 相较于 DEP 的优势在于从关键路径中消除了同步的 All2All 通信。然而,这一优势在 ISL 中并非单调递增。一旦序列变得非常长,两种方法中计算将占主导,因此同步的 All2All 开销在 DEP 延迟中所占比例较小。相应地,随着 ISL 进一步增长,DWDP 的边际加速效果逐渐减弱。

五、设计挑战和优化

5.1 基线实现和剖析

5.1.1 Kernel 统计分析

为理解 DWDP 的瓶颈,作者首先评估了一种基础实现方案。如下图 Table 1 对比了 DeepSeek-R1 模型中 DEP4 与 DWDP4 在 Prefill-Only 场景下的时延统计情况。相较于 DEP,DWDP 完全消除了同步开销,并将通信移出关键路径。与此同时,基线方案也呈现出两项性能衰退:

  • 基线 DWDP 中需要计算前将 Local Expert 和 Remote 合并到连续 Buffer,产生 34us 的 D2D Copy 开销。

  • Attention 计算及其他类别计算耗时增加,表明 Remote Expert 预取与计算 Overlap 会引发不可忽略的通信-计算干扰。

如下图 Figure 6 所示,GPU 上 Copy Engine(CE) 通过 NVLink 从 peer GPU 上拉取权重的过程。CE 作为专用数据移动引擎,不会占用 SM 计算资源,然而,数据传输仍需跨越两个 GPU 上片上网络(NoC)、L2 Cache 和 DRAM;同时,本地 SM Kernel 会发起内存请求。因此,Remote 权重预取与计算可能在存储的不同层级产生相互干扰。除了 NoC 仲裁冲突,L2、DRAM 带宽竞争外,还可能导致 GPU 处于高功耗,进而触发降频,从而影响计算。

  • Blackwell GPU 的 HBM 带宽约为 8TB/s;而 NVLink5 可高达 1.8TB/s 的聚合读写带宽,相当于 HBM 峰值带宽的 1.8/8=22.5%。因此,当 NVLink 流量饱和时,Memory Bound Kernel 最坏情况可能面临高达 22.5% 的性能下降。

  • 仅 Attention 模块计算的功耗就可达到 TDP 的约 96.7%,而双向通信功耗约占 TDP 的 30.5%(包括 12.9% 的空闲基线功耗)。也就是说,重度计算 Kernel 与通信 Kernel Overlap 时,总功耗约为 96.7% + 30.5% − 12.9% = 114.4% 的 TDP,超出功耗阈值。会触发动态电压频率调节(DVFS),导致GPU频率显著下降。

5.1.2 运行时 Trace 分析

作者还对 DWDP 实现的 Nsight System 运行时 Trace 进行深入剖析。发现:在每个 MoE 层中,不同目标 Rank 可能同时从同一个源 Rank 拉取缺失的 Remote Exper,从而在源 Rank 形成多对一的通信竞争。如下图 Figure 4 所示,分层计算窗口的时间与 Remote Expert 预取时间相当,此时源端的序列化操作会延长通信窗口,并在下一个计算区域开始前出现明显的计算 Bubble。

5.2 消除权重合并开销

当前的 MoE 计算实现中,通常会采用 GroupedGEMM 优化,GroupedGEMM 计算通常要求 Weight 存储在单一连续 Buffer。而 Local Expert 与预取的 Remote Expert 存储并不满足,因此需要引入额外的 D2D 操作,随后才能启动 Kernel 函数。增加了内存带宽开销和时延。

为了消除此类合并开销,作者对 GroupedGEMM Kernel 进行扩展,使其能够直接处理多个 Weight Buffer。使用 CuTeDSL 实现,将 TensorList 作为输入,Kernel 函数能够在内部从 Local Buffer 和预取的 Remote Buffer 中动态选择权重(会引入额外索引和地址计算开销,不过都比较小),不用依赖外部合并的 Buffer。

5.3 缓解异步通信竞争

5.3.1 理论分析

源 Rank 处拉取权重会造成多对一竞争,导致计算 Bubble。为了隔离这种竞争效应,作者分析了理想通信时间与逐层计算时间相当的边界状态,在此状态下,若无竞争,通信几乎可以完全被 Overlap。因此关键问题在于:仅异步竞争是否足以使几乎 Overlap 的通信转换为计算的 Bubble。

对于一个包含 N 个 Rank 的 DWDP 组,在单个通信轮次中,每个 Rank 需要从其他 N-1 个 Rank 拉取 Remote Weight。假设竞争时的理想总通信时间为 𝑇。由于每个 Rank 发起 𝑁−1 次串行拉取,单次拉取的理想服务时间为:

采用随机状态模型:每当某一 Rank 准备发起下一次拉取操作时,其源 Rank 在剩余 peer Rank 中均匀分布。对于标记的 Rank,在其选定某一源 Rank 后,其余 𝑁 − 2 个 Rank 各自以 1/(𝑁 − 1) 的概率选择同一源 Rank。因此,针对该源 Rank 的竞争请求数量为:

为简化模型,仅计算竞争概率。将竞争等级 𝐶 定义为同时针对同一源的拉取操作总数(包括标记的拉取操作本身),则 𝐶 = 𝑋 + 1。

在完全序列化等尺寸近似条件下,竞争度为 𝐶 的拉取操作将产生约 𝐶𝜏 的延迟,但实际延迟取决于众多系统因素。该研究的目标仅在于证明低阶多对一竞争会自然产生,因此需进行显式优化。如下图 Table 2 汇总了若干 DWDP 分组规模下的竞争概率。

这些结果表明,在随机异步执行下,最可能出现的是低阶竞争情况(如 𝐶=1 和 𝐶=2),但高阶竞争的概率随着 𝑁 的增加而逐渐增大。因此,即使没有异常调度,较大的 DWDP 组也会面临更高的多对一通信竞争。因此提出一种缓解策略,该策略特别针对常见的低阶竞争机制,以提升系统的鲁棒性。

5.3.2 时分复用复制

为解决源 Rank 中的多对一竞争问题,将每个 Remote 权重传输拆分为固定大小的切片,并以 Round-Robin 方式在所有活跃目标 Rank 间调度这些切片。关键在于:Copy Engine 采用流水线设计,对于足够小的请求,能够维持多个小切片并行传输。设切片大小为 𝑠,考虑 𝑠 足够小的场景,此时 CE 可同时保持两个切片处于传输状态。在此假设下,当首个切片发出后,CE 可在前一切片完全完成前开始发送下一个小切片。因此,即使某个切片因通信竞争而减速,源端仍可继续处理其他请求。换言之,分块机制将整体拉取操作转化为一系列较小的直接内存访问请求序列,而流水线执行则实现了这些请求间的部分 Overlap 执行。

该实现方案在每个源 Rank 上为每个目标 Rank 维护一个待处理切片队列。当某 Rank 需要提取大小为 𝑀 的 Remote Expert 时,该 Expert 会被划分为 𝐾 = [M/𝑠] 个切片。源端调度器以 Round-Robin 方式处理所有非空队列,每轮从每个队列最多调取一个切片。如下图 Listing 1 展示了构建此类批量预取复制规划的伪代码,其核心思想在于:先遍历切片偏移量,再以 Round-Robin 顺序遍历对等 Rank,从而使不同源 Rank 的切片在最终的 DMA 调度中实现交错排列。

上述机制的原理与高性能网络中基于虚拟通道的隔离技术具有相似性:当某条通道因竞争而减速时,其余通道仍能保持网络的高效利用率。此设计中,面向每个目标的切片队列发挥着类似作用,防止单个受阻的数据拉取操作阻塞所有针对同一源端的其他拉取请求。这种架构产生了一个特别重要的推论:若流水线引擎能同时维持两个小切片的传输状态,则即使两个在途请求各自遭遇 2 级竞争,节点级数据拉取仍不会减速。等效而言,仅当两个在途切片同时遭遇至少 3 级竞争时才会出现通信引发的减速现象。

六、实验结果

6.1 实验设置

硬件、软件栈与模型:所有实验均在 GB200 NVL72 上进行。使用 TensorRT-LLM 实现 DWDP (基于 TensorRT-LLM commit 3a89495。上游整合在 https://github.com/NVIDIA/TensorRT-LLM/pull/12136/changes [4])。DeepSeek-R1 模型,MoE 权重以 NVFP4 精度量化,Attention 使用 FP8 精度的 KV 缓存。

基线设置:所有评估均在 PD 分离下进行,DWDP 仅部署于 Prefill 节点。基线为相同运行时与硬件约束下的 DEP。特别说明,Decoding 服务器配置不变,仅修改与 DWDP 相关的 Prefill 配置。

评估指标:纯 Prefill 实验,主要报告相较于 DEP 基线的 TPS/GPU 收益比与 TTFT 收益比。端到端实验中报告 TPS/User、TPS/GPU 及 TTFT 指标。特别关注特定 TPS/User 约束下的吞吐效率权衡关系。TTFT 统计从请求抵达至生成首个 Token 的中位时间(含队列等待时间)。

6.2 Prefill-Only 结果

如下图 Table 3a 所示:DWDP 在 1K 至 32K 的输入序列长度范围内实现 1.09x-1.11x 的 TPS/GPU 提升,以及 1.11x-1.27x 的 TTFT 提升。当最大新生成 Token 数固定且足够大时,性能提升随输入序列长度的增加而降低。这一趋势与 Figure 3 的初步分析一致:随着序列长度增长,计算在上下文阶段延迟中的占比增大,因此通过减少同步通信获得的相对收益会变小。

如下图 Table 3b 所示:DWDP 在不同最大新生成 Token 数设置下实现 1.01x-1.10x的 TPS/GPU 收益与 1.07x-1.16x 的 TTFT 收益。在相同输入序列长度条件下,每次 Forward 传递的运行时 Token 预算越大,性能加速比越高,因为这为隐藏权重预取开销创造了更大的计算窗口。

如下图 Table 3c 所示:随着工作负载不平衡程度增加,DWDP 实现了 1.08x-1.15x 的 TPS/GPU收益与 1.11x-1.18x 的 TTFT 收益。当输入序列长度的标准差增大时,DWDP 相比 DEP 获得更高的收益。该结果印证了 DWDP 的核心设计动机:在更不均衡的工作负载下,DWDP 的异步执行机制避免了 DEP 所产生的日益增长的同步开销。

如下图 Table 3d 所示:DWDP3 与 DWDP4 在 TPS/GPU 加速比上表现几乎一致,表明 DWDP 在 Prefill 侧的核心优势在更小的分组规模中得以保持。但 DWDP3 的 TTFT 收益比较低,可能因为较小的 Prefill 部署提供较低的总吞吐量,从而导致首 Token 产生前的排队延迟增加。更重要的是,DWDP3 凸显了 DWDP 的额外优势:相比传统 DEP 配置,它能支持更细粒度的资源分配,这在 PD 部署场景中具有重要应用价值。

这些消融实验表明,DWDP 能够持续提升 Prefill 侧性能。其性能增益在以下两种情况下最为显著:

  • 一是当工作负载提供足够大的计算窗口以隐藏权重预取开销时。

  • 二是当工作负载不均衡使 DEP 的同步开销更为严重时。

分块权重合并消除的评估:  在与 Table 1 相同的配置下评估分块权重合并消除优化。通过该优化,DWDP 在关键路径中消除了 D2D 合并拷贝操作,相比 DWDP 基线实现约 3% 的 TPS/GPU 提升,且未对 GroupedGEMM 执行产生显著性能回退。

多对一竞争缓解机制的评估 :在 ISL=8K 的 Prefill-Only 工作负载下,使用 1MB 分片并调整 ISL 比例与 MNT 参数。如下图 Table 4 所示,当 MNT 值较小且 ISL ratio 较低时,完整方案带来的优势更大——因为较低的平均 ISL 缩短了逐层计算时间,而通信时间基本保持不变。这一趋势在 ISL ratio = 0.5 且 MNT=16K 时最为明显:采用合并消除的 DWDP 略低于 DEP,而完整版 DWDP 则显著更高。当计算窗口扩大时(例如 MNT=32K),额外收益会大幅减少,因为基线配置已能掩盖更大比例的通信成本。

6.3 端到端结果

端到端设置:进一步评估了在 PD 分离场景下 DWDP 对端到端性能的影响。最大输入长度为 8K 、输出长度为 1K、输入长度范围在 6.4K 至 8K(输入比例 0.8)的 SemiAnalysis 数据集。为评估 DWDP 的端到端效果,选取现有帕累托曲线上 20 至 200 TPS/User 区间的若干基准点,通过对比分析 DWDP 能否将这些基准点推进至更优区域——即在保持相近 TPS/User 的前提下提升输出 TPS/GPU,同时单独报告对应的 TTFT 权衡。为控制变量,固定 Deocoding 服务器的配置,仅对 Prefill 服务器应用 DWDP 策略,主要通过调整 Prefill GPU 数量来探索性能优化点。

TPS/User 与输出 TPS/GPU 分析:如下图 Figure 5 显示,DWDP 确实将端到端帕累托点推向更优位置:在相近的 TPS/User 水平下,其在大部分目标区间实现了高于基线的输出 TPS/GPU。

如下图 Table 5 汇总了各 TPS/User 区间的平均加速比:

  • 收益在低 TPS/User 区间最为显著。例如在 20-30 TPS/User 区间,DWDP 实现了 1.15x TPS/User 提升与 1.10x TPS/GPU 提升。对比具有相似 TPS/User 的帕累托点可发现,DWDP 通常比基线方案使用更少的 Prefill GPU 资源。表明增益主要源于 Prefill GPU 需求的降低。

  • 收益在高 TPS/User 区间逐渐减弱。该区域系统更显著受 Decoding 阶段瓶颈制约,且 Prefill 阶段无法积累足够 Token 以抵消 DWDP 预取机制的开销。因此 DWDP 仅提供有限效率增益,甚至出现轻微性能回退。

TTFT 时间分析:还评估了应用 DWDP 后的中位 TTFT,该时间包含排队等待时长。针对每个基准点,选取 TPS/User 最接近的 DWDP 配置点,比较其 TPS/GPU 与 TTFT 性能。与基准系统相比,DWDP 在所有评估的 TPS/User 区间均延长了 TTFT。

  • 在高 TPS/User 场景下,系统本就存在严重的 Decoding 阶段瓶颈,Prefill 阶段无法积累足够的 Token 来分摊 DWDP 预取开销。

  • 在低TPS/用户场景下,对于 Prefill GPU 数量削减幅度更大的配置组合,TTFT 可能出现显著增长。这些性能回退并不代表单 GPU Prefill 处理效率降低,而是因为缩减 Prefill 侧部署规模会降低 Prefill 阶段的整体服务速率,恶化 Prefill 阶段与 Decoding 阶段之间的速率匹配,进而增加首 Token 生成前的排队延迟。

七、参考链接

  1. https://arxiv.org/abs/2604.01621

  2. https://arxiv.org/abs/2602.00509

  3. https://arxiv.org/abs/2601.19362

  4. https://github.com/NVIDIA/TensorRT-LLM/pull/12136/changes

跳转微信打开

❌