铃阅时讯
❌

阅读视图

被低估的变量:KV-Cache 驱动的 AI Infra 演进

原创 AI闲谈 2026-04-22 20:01 北京

最近在看下一代 AI 数据中心的建设方案,在做建模规划时,越来越强烈地感受到一个常被低估的变量:Agentic 应用的快速发展以及模型架构的持续演进,正在重新定义 KV-Cache 的规模、形态和传输方式,进而影响 AI Infra 的设计。

一、引言

最近在看下一代大规模 AI 数据中心的建设方案,比如 Vera Rubin NVL72/Ultra Rubin NVL144、LPX、CMX 等。在做建模和资源规划时,越来越强烈地感受到一个常被低估的变量:Agentic 应用的快速发展以及模型架构的持续演进,正在重新定义 KV-Cache 的规模、形态和传输方式,进而深刻影响 AI Infra 的设计边界。

训练阶段决定了模型的能力上限,推理阶段尤其是 KV-Cache 的存储、加载、共享与路由越来越直接地决定了系统的成本结构、吞吐上限以及最终的用户体验。这个变化不只发生在模型层,也在服务架构、内存/存储层级、网络互联和机房规划层面同时发生。

最近正好看到的一些和 KV-Cache 强相关的工作,本文中笔者从模型架构、应用场景和基础设施三个角度进行总结。本文除了讨论“KV-Cache 大不大”之外,也进一步讨论当 KV-Cache 的特性发生变化后,AI Infra 的服务形态和硬件选型会被如何重新改写。

相关工作可以参考笔者之前的文章:

二、不同模型架构

2.1 Attention 机制

2.1.1 Softmax Full Attention

如下图所示,Attention 中影响算术强度和 KV Cache 规模有两个关键因素:Attention 里 K 和 V 被多少个 Q 共享,以及 K 和 V 是否共享(假设 FP8 格式存储,Hidden Dim 为 H,n 个 Head,Head Dim 为 d=H/n,GQA 中有 g 个 Group):

  • MHA:Q 和 K/V 对应关系为 1:1,每个 Token 每层的 KV 大小为 2H。

  • GQA:Q 和 K/V 对应关系为 gq:1(每个 Group 里有 gq 个 Q, g=n/gq),每个 Token 每层的 KV 大小为 2H/gq=2gd。

  • MQA:Q 和 K/V 对应关系为 hq:1(有 hq 个 Query Head,hq>=gq),每个 Token 每层的 KV 大小为 2d。

  • MFA:等效于 MQA,每个 Token 每层的 KV 大小为 2C(C 是隐空间维度)。

  • MLA:K 和 V 共享,每个 Token 每层的 KV 大小为 C+dr(C 是隐空间维度,dr 表示 RoPE 编码维度)。

对于 Softmax 类型 Attention,总 KV Cache 大小与序列长度 S 和模型层数 L 成正比。也就是说, 在不做额外压缩或稀疏化的情况下,KV-Cache 大小可以写为(其中 B 表示数据类型字节数,FP16 为 2 Byte,FP8 为 1 Byte,FP4 为 0.5 Byte):

S * L * (单层单 Token 的 KV-Cache) * B

在 Softmax Attention 机制中,KV-Cache 的存储大小与 Decoding 阶段加载的 KV-Cache 大小相同。

2.1.2 Sparse Attention - SWA

滑动窗口注意力(Sliding Window Attention,SWA)的核心思想是:在做 Attention 计算时,当前 Token 不再关注之前的全部 Token,而是只关注一个有限窗口内的 Token。除此之外,可能也会关注额外的 Sink Token([2309.17453] Efficient Streaming Language Models with Attention Sinks [1])。以最基本的 SWA 为例,假设窗口大小为 W,则不论底层是 MHA、GQA 还是 MLA,KV-Cache 的有效存储和加载规模都会被窗口大小 W 所限制(存储大小和加载大小):

S * W * (单层单 Token 的 KV-Cache) * B

2.1.3 Sparse Attention - DSA

DeepSeek 在 [2512.02556] DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models [2] 中引入了 DSA 机制。其核心思路是在 MLA 的基础上进一步叠加 Sparse 机制,每次进行 Attention 之前,先通过 Lightning Indexer 从长序列中筛选出 Top-k Token,再只对这些候选 Token 执行后续的 Attention 计算。

  • Indexer 是一个 128 维向量,所以每个 Token 在每层还会有一个 128 维的 Indexer Cache(存储和加载)。这也意味着 DSA 并不是“零成本稀疏化”,索引阶段仍然会引入额外的计算和存储开销。

  • 通过 Top-k(2048)Selector 后,只用加载 2048 个 Token 的 MLA Cache 进行 Attention 计算即可。

    • 不管序列长度是多少(> 2048),每层都会加载固定的 2048 个 MLA Cache。

    • 由于任何一个 Token 都可能被选中,所以还是要存储所有的 MLA Cache。

    • 计算复杂度为 O(K*L),大幅降低。

  • PS:由于 MLA Cache 的维度为 576,因此当序列长度大于 576/128*2048=9K 时,Indexer Cache 的加载开销反而大于 MLA Cache。

在序列较长的情况下,DSA 可以显著降低 MLA Cache 的加载量和 Attention 计算量,从而降低 Inference 成本。但同时也要意识到,它是用索引阶段的额外开销去换取后续 Attention 阶段的降本。

2.1.4 Linear Attention - GatedDeltaNet

阿里在 Qwen3.5 系列模型中引入 [2412.06464] Gated Delta Networks: Improving Mamba2 with Delta Rule [3],同样可以大幅降低对 KV Cache 的依赖。GatedDeltaNet 层维护两个固定大小的 State(不随序列长度增长),以 Qwen3.5-122B-A10B 为例:

  • Recurrent State(主状态,DeltaNet 核心记忆矩阵):

    • Shape: (linear_num_value_heads, linear_key_head_dim, linear_value_head_dim) = (64, 128, 128) 。

    • 元素数:64 × 128 × 128 = 1,048,576。

    • 一般以 Float32 格式存储。

    • 每层的大小:1,048,576 × 4 bytes = 4 MB。

  • Conv State(卷积辅助状态,用于 gate/delta 计算前的 short conv):

    • Shape: (linear_num_value_heads × linear_value_head_dim, linear_conv_kernel_dim) = (8192, 4) 。

    • 元素数:8192 × 4 = 32,768。 

    • 一般以 Float32 格式存储。

    • 每层的大小:32,768 × 4 bytes ≈ 0.125 MB。

2.1.5 Linear Attention - Lightning Linear

蚂蚁在 Ling 系列模型中使用了 Lightning Linear Attention([2510.19338] Every Attention Matters: An Efficient Hybrid Architecture for Long-Context Reasoning [4]),相比 GatedDeltaNet 更加简单,只用维护一个固定大小的 State(不随序列长度增长),以 Ring-2.5-1T 为例:

  • Recurrent State(主状态,核心记忆矩阵):

    • Shape:(num_kv_heads_for_linear_attn, head_dim, head_dim) = (64, 128, 128) 

    • 元素数:64 × 128 × 128 = 1,048,576 个元素。

    • 一般以 Float32 格式存储。

    • 每层的大小:1,048,576 × 4 bytes = 4 MB。

2.2 Cache 大小

基于上述分析,降低 KV-Cache 压力的思路基本可以归纳为以下几类:

  • MHA -> GQA:KV-Cache 规模会随 Group Size 增大而下降。MHA 可以理解为 Group Size 为 1 的特殊情况,MQA 可以理解为 Group Size = Head 数。

  • MLA:类似 MQA。

  • SWA:通过窗口限制,将有效 KV-Cache 的存储与加载规模控制在一个较小的范围内,可以忽略。

  • DSA:Indexer Cache 的维度更低,绝对规模更新,但依然无法忽略,并且并不会节约存储空间。

  • LinearAttention 系列:State 大小与序列长度基本无关,,Cache 很小,可以忽略。

  • Hybrid Attention 比例:Full Attention Layer 占比越低,整体 KV-Cache 压力通常也越小,比如 Ring2.5-1T 中,只有 1/8 层使用 MLA。

结合下图中常见模型的 Attention 配置和 KV-Cache 大小,可以看出相对比较有优势的架构是:

  • MLA + DSA:DeepSeek V3.2 和 GLM-5.1。

  • Hybrid Attention:GQA/MLA(层少) + SWA/Linear(层多),并且 GQA 中要使用较大的 Group Size。 

三、不同应用场景

3.1 应用场景分析

随着大模型能力的不断提升,其应用场景已经从简单的对话和 Offline Inference(Batch) 逐步演变为更复杂的 Agentic 工作流。不同场景对 TPS/User(Token 生成速度)的要求差异很大,而 TPS/User 又与并发度(Batch Size)密切相关。整体来看,TPS/User 要求越高,可承受的 Batch Size 越小,系统成本越高。

如下图所示为不同场景对 TPS/User 的需求:

Offline Inference:无实时交互需求,可最大化 Batch Size 提升 GPU 利用率。调度策略应当以吞吐优先,可容忍高延迟换取高总吞吐。

  • TTFT:不重要。

  • TPS/User:小于 20 Token/s 也完全可以接受。

  • 典型输出 Token 数量:和任务密切相关。

Chatbot(Non-reasoning):有一定的实时交互需求,但通常满足人眼的阅读速度即可。

  • TTFT:可接受(<2s);体验良好(<1s);体验非常好(<0.5s)。

  • TPS/User:可接受(15-20 Token/s);体验良好(20-50 Token/s);体验非常好(> 50 Token/s)。

  • 典型输出 Token 数量:100-500 Token。

Chatbot(Reasoning):增加了 Reasoning,输出 Token 数明显增加,不过用户往往对“深度思考”有更高的容忍度。通常来说,Thinking 部分需要适当快些,以便降低 E2E 时间,有效 Output 满足人眼阅读体验即可。

  • TPS/User:

    • Thinking 部分:50-100 Token/s。

    • Output 部分(用户可见):20-50 Token/s。

  • 典型输出 Token 数量:1,000 - 10,000 Token。 

典型 Thinking 长度

30 Token/s 等待时间

100 Token/s 等待时间

1,000 Token

33s

10s

5,000 Token

167s(较差)

50s

10,000 Token

333s(很差)

100s

Voice Assistant:人听词的速度比阅读速度慢,但是端到端的链路比较长,包括 ASR -> LLM TTFT + 首句生成 -> TTS 合成 -> 播放。因为起始阶段需要快速填充 TTS Buffer,对  TTFT 和 TPS/User 要求较高,随后并不需要较高的 TPS/User。

  • TPS/User:

    • 起始突发阶段:50-100 Token/s。

    • 稳定输出阶段:15-20 Token/s。

  • 典型输出 Token 数量:50-200。

Deep Research:多步 Agent 任务,需要多轮 LLM 调用 + 工具调用。用户通常预期会有较长的等待时间,对单次调用的 TPS 不敏感,但是也会期望总时间不要太长。

  • 总 Token 数量:10,000 - 100,000 Token。

  • TPS/User:50-200 Token/s

    • 200 Token/s 可以满足绝大部分需求,体验很好。

    • 100 Token/s 基本也都可以满足需求,体验不会太差。

    • 50 Token/s 极端场景下体验较差。

典型 Thinking 长度

50 Token/s 等待时间

200 Token/s 等待时间

10,000 Token

~3.3min

~0.8min

50,000 Token

~17min(较差)

~4min

100,000 Token

~33min(很差)

~8min

Coding Assistant:和用户会有频繁的交互,对时延比较敏感,通常要求较高的 TPS/User。不过 Coding Assistant 也可以分为不同的子场景分别优化,比如行内补全可以采用较小的模型获得较高的 TPS/User;对话模式会有较多的有效输出 Token 数,TPS/User 要求也不会特别高;而 Agentic Coding 场景自会有非常高的要求,通常要求分钟级的输出,不过这种场景也可以将任务拆分,进而控制整体输出长度,将单任务 Token 总数控制在 10,000 - 100,000 Token。

  • 典型输出 Token 数量:10,000 - 100,000 Token

  • TPS/User:100-400 Token/s

    • 400 Token/s 可以满足绝大部分需求,体验很好。

    • 200 Token/s 基本也都可以满足需求,体验不会太差。

    • 100 Token/s 极端场景下体验较差。

典型 Thinking 长度

100 Token/s 等待时间

200 Token/s 等待时间

400 Token/s 等待时间

10,000 Token

~1.7min

~0.8min

~0.4min

20,000 Token

~3.3min

~1.7min

~0.8min

50,000 Token

~8.3min(较差)

~4.2min

~2.1min

100,000 Token

~16.7min(很差)

~8.3min(较差)

~4.2min

大型 Coding 项目:对于一些中大型项目,代码行数甚至可达 50,000 行,假设每行平均 10 个 Token,则需要 500,000 Token,也基本达到当前常见模型的上限。即便不是这么大型的项目,也可能因为需要反复编写代码 -> 编译/测试 -> 修复异常循环,从而导致总 Token 数达到 128K - 512K。当然,该场景也可以通过子任务划分、压缩等发生降低单任务 Token 总数。

  • 典型输出 Token 数量:100,000 - 500,000 Token

  • TPS/User:

    • 1000 Token/s 可以满足绝大部分需求,体验很好。

    • 400 Token/s 基本也都可以满足需求,体验不会太差。

    • 200 Token/s 极端场景下体验较差。

典型 Thinking 长度

200 Token/s 等待时间

400 Token/s 等待时间

1000 Token/s 等待时间

100,000 Token

~8.3min

~4.2min

~1.7min

200,000 Token

~16.7min

~8.3min

~3.3min

500,000 Token

~41.7min

~20.8min

~8.3min

3.2 NVIDIA Rubin NVL72 + LPX 分析

如下图所示,为 Vera Rubin NVL72 和 LPX 的各种适用场景:

  • Rubin GPU 采用 HBM,非常适合长上下文,高吞吐的场景,随着 TPS/User 要求的提升,TPS/MW 逐渐下降。

  • LPX 主要使用 SRAM,带宽非常高,很适合对 TPS/User 要求极高的场景。当然,由于 SRAM 容量有限,无法充分容纳高并发下的 KV Cache 和激活,导致即使 TPS/User 要求不高,其 TPS/MW 也不会特别高。

如下图所示为 NVIDIA 提供的 Vera Rubin NVL72 + Groq 3 LPX 在不同场景下的吞吐:

  • TPS/User <= 100:Rubin NVL72 和 Blackwell NVL72 还能达到比较高的 Batch Size,TPS/MW 基本与算力呈正比。

  • 100 <= TPS/User <= 200:Blackwell NVL72 中 Batch Size 下降的更多,TPS/MW 下降的更快,Rubin NVL72 的优势开始凸显。

  • 200 <= TPS/User <= 400:TPS/User 要求非常高,Rubin NVL72 的优势非常明显,甚至 TPS/MW 达到 Blackwell NVL72 的 10x。Rubin NVL72 + LPX 的优势更加明显,甚至在 400 TPS/User 处达到 Blackwell NVL72 的 35x,是单独使用 Rubin NVL72 的 3.5x。

  • TPS/User >= 400:Rubin NVL72 + LPX 的优势非常明显。

四、NVIDIA CMX

4.1 概述

NVIDIA 在 GTC 上也发布了其准备针对 Context Memory(KV Cache)的 NVIDIA CMX Context Memory Storage Platform [5],可以在 Rubin NVL72 Rack 的基础上额外扩展 CMX 存储 Rack。其定位可以理解为:在传统 GPU/HBM/SSD 层级之外,为 Context Memory 引入一层更明确的共享存储能力。主要解决以下问题:

  • 跨 Rack 共享上下文。

  • 减少重复 Prefill 和历史重算。

  • 支撑 SuperPod 级的 KV-Aware 路由。

  • 为长上下文与多轮场景提供更可控的共享 Warm Tier。

  • 将共享 KV 从传统共享存储中剥离出来,避免用远端存储承载活跃 Context。

4.2 KV-Cache 存储层级

如下表所示,CMX 相当于在本地 SSD(G3)和远端共享存储(G4)之间额外增加了专门针对 KV-Cache 的共享存储:

  • 整个 SuperPod 共享(比如 1152 GPU),空间远大于本地 SSD,小于 G4 共享存储。

  • 相比访问远端 SSD 的链路更短,时延更低。

4.3 CMX 优劣势

Agentic 和多轮对话场景确实大幅推高了 KV-Cache 的存储需求,但是正如前文的分析,当前一些旗舰模型也在架构设计上充分考虑了 KV-Cache 的存储压力,通过 GQA/MLA、Sparse Attention、Hybrid Attention 等方式显著降低了这一压力。

对于真实的复合场景(序列分布不同、TPS 要求也不通)来说,长上下文需求本身未必一直占据很高的比重,更可能是一类长尾需求。

既然可以通过 Superpod 感知路由来避免跨 Superpod 的 CMX KV-Cache 加载,那么同样也可以考虑通过 Server/Rack 感知路由来尽量避免 SSD 中的 KV Cache 在 Server/Rack 之外额外迁移,以更充分地发挥本地 SSD 缓存 KV-Cache 的价值。

在需求尚未明确之前就额外采购 CMX,可能会造成采购预算的浪费。在一些情况下,把预算用于扩充更多 SSD 或 GPU Rack,反而可能更直接地提升系统整体能力。

CMX 也会对机房建设带来额外挑战,如果提前购买,可能会出现预算浪费;如果后续再补建,又可能带来机房改造风险,比如供电、机架容量或布线方案不再满足要求。更稳妥的方式,往往是在机房初期规划时预留对应的扩展空间和条件。

五、Moonshot Prefill-as-a-Service

5.1 概述

Moonshot 最近发布的 [2604.15039] Prefill-as-a-Service: KVCache of Next-Generation Models Could Go Cross-Datacenter [6] 引起了不少讨论。它的价值并不在于模型结构或算法层面带来了巨大创新,而在于捕捉到了一个重要趋势:随着 Hybrid Attention 等方案让 KV-Cache 规模明显下降,异构 PD 分离在跨集群场景下开始变得真正可行。基于这个前提, 论文提出 Prefill-as-a-Service(PrfaaS)的思路:将长上下文 Prefill 选择性地卸载到独立的高算力集群,再把生成的 KV-Cache 通过普通以太网(前端网络)传回 Local PD 集群完成 Decoding。这样可以在一定条件下实现跨集群、跨机房、异构硬件解耦的 LLM Serving 架构。

5.2 异构集群

虽然 PD 分离刚出来时,很多人都鼓吹“异构 PD 分离”,但一旦进入到集群如何建设、如何互联、如何调度等具体问问时往往又哑口无言。核心难点在于,有几个问题并没有那么容易被真正解决:

  • 在 DC 建设时,通常不同类型的 GPU 是不同的集群,比如 A100、H100、B300、H20。

    • 一方面,因为它们的算力不同、后端网络不同、采购时间不同,在 PD 之前并没有太多混合调度的需求。

    • 另一方面,后端网络互联也会有挑战,A100 是 200Gb/s 网络为主,H100 是 400Gb/s 为主,而 B300 是 800Gb/s 为主。

    • 此外,后期搬迁重建也相对比较麻烦。

  • 不同设备的比例难以确定。

    • Workload 高度动态化,并且随时间和技术发展快速演进,比如短短半年时间,由于 Agent 的发展导致序列长度明显增加。

    • 模型结构的变种也很多,资源采购、机房建设的周期往往无法适应当前模型的快速演进。

5.3 跨集群、机房

跨集群的前端网络带宽通常比后端网络低得多。以 A100、H100 平台为例,前端网络带宽常见是 100Gb/s、200Gb/s 或 400 Gb/s,往往只有后端网络的 1/8 甚至 1/16。此外,前端网络通常会采用有收敛网络,导致核心链路更容易出现瓶颈。

当前的 Hybrid Attention + GQA/MLA 等机制已显著降低 KV Cache 规模,也让 Prefill 和 Decoding 之间的 KV-Cache 传输量明显下降。如下图 Table 3 所示,更大规模的 Hybrid Attention 模型的 KV-Cache 反而比更小的 Dense Attention(GQA)模型小得多,甚至达到 10x 差距。这与我们前面的分析类似,也就为跨集群的 KV-Cache 传输提供了可行性。

此外,也不是简单地把所有 Prefill 都放到高性能 GPU(比如 H100) 的 Prefill 节点上就可以。对于一些比较短的 Request,使用高性能 GPU 可能并不划算,再叠加跨集群传输延迟后,效果甚至可能不如直接由本地高带宽 GPU(比如 H20)节点处理。因此 Prfaas 的方案是将部分 Long Request 路由到 PrfaaS Cluster,而将 Short Request 和 Decoding 调度到 Local PD Cluster。如下图 Figure 3 所示:

5.4 局限性和挑战

PrfaaS 同样会面临一些现实挑战。如果把它放到真实生产环境中,前端网络除了承载 KV-Cache 传输外,还需要承载镜像下发、模型下发、用户 Request/Response 流量以及其他服务流量等。这些流量规模往往并不稳定,要么难以预测,要么需要做 QoS 隔离。如果处理不好,就可能污染 KV-Cache 传输路径,从而把压力传导到第二 Token 甚至后续 Token 的生成时延上。

六、其他工作

6.1 Google TurboQuant

前段时间 Google 的 [2504.19874] TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate [7] 也在社区中引起广泛讨论,甚至被炒作为“可以大幅降低存储需求”,引起存储厂商大跌。

实际上,TurboQuant 确实提供了进一步降低 KV-Cache 的可能,但其可带来的降幅并没有想像中那么大。在尽量保障精度的前提下,比较理性的压缩比例为 2x(8 bit -> 4 bit),远小于模型结构优化带来的提升幅度。

6.2 MSA: Memory Sparse Attention

在 [2603.23516] MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens [8] 中,作者提出 Memory Sparse Attention(MSA),一种端到端可训练、兼顾效率与大规模可扩展性的 Memory 模型框架。通过可扩展稀疏注意力架构、文档级 RoPE 等核心创新,MSA 在训练和推理阶段均实现线性复杂度,同时保持精度稳定性。

论文结果表明,当 Token 从 16K 扩展至 100M 时,性能衰减幅度低于 9%;此外,结合 KV Cache 压缩与推理阶段的 Memory 并行机制后,可在 2 张 A800 GPU 上完成 100M Token 的推理任务。

然而,该方案也有相应的局限性。一方面,它需要对模型做额外训练或至少做较多架构级适配;另一方面,它的适用场景也更偏向文档问答、长文总结等 memory-centric 任务。

七、总结与判断

KV-Cache 已经不再是一个单纯的模型实现细节,而是正在成为连接 “模型架构” 与 “Inference Infra” 的关键中间变量。模型层对 KV-Cache 的重构方式,会直接决定 Inference 系统对 HBM、DRAM、SSD、前后端网络以及路由调度能力的需求结构。

模型越是能在架构上降低 KV-Cache 的存储与搬运成本,AI Infra 层的约束就越少,系统设计的自由度也越高。这也就意味着,未来的竞争重点不只是 “更大的 GPU” 或 “更高的带宽”,而是 “模型结构优化 + Serving 系统设计 + 硬件层级协同” 的联合优化。

  • 从模型趋势看,GQA/MLA、Sparse Attention、Linear Attention 和 Hybrid Attention 都在把 KV-Cache 从“必须累积增长”变成“可被结构性控制”的对象。

  • 从系统角度看,KV-Cache 规模下降并不只意味着存储成本下降,更意味着 Prefill/Decoding 分离、跨集群传输、异构调度等方案开始具备更强的落地可能性。

  • 从应用角度看,不同场景的核心矛盾并不相同:有些场景要吞吐,有些场景要 TPS/User,还有一些场景要的是总任务完成时间。因此,不应该使用单一指标去诜明所有 AI Infra 的价值。

  • 从硬件选型看,HBM GPU、DRAM、本地 SSD 以及类似 CMX 的中间层,未来更可能是长期共存而不是单一方案 “通杀” 所有场景。

  • 短期内最值得关注的,依然是 “模型端先把 KV-Cache 做小”。这会比 “在 Infra 层直接为大 KV-Cache 堆资源” 更具有普遍性,也更容易在多种场景下复用。

  • 从中长期看,真正的差异化优势可能来自 “KV-aware 的系统设计能力”:谁能在模型、调度、网络、存储和机房层面同时做联合优化,谁就更容易在下一轮 AI Infra 竞争中占据优势。

  • AI Infra 演进中的不确定性是最大的确定性,不说前提条件的结论大概率是忽悠。

八、参考链接

  1. https://arxiv.org/abs/2309.17453

  2. https://arxiv.org/abs/2512.02556

  3. https://arxiv.org/abs/2412.06464

  4. https://arxiv.org/abs/2510.19338

  5. https://www.nvidia.com/en-us/data-center/ai-storage/cmx/

  6. https://arxiv.org/abs/2604.15039

  7. https://arxiv.org/abs/2504.19874

  8. https://arxiv.org/abs/2603.23516

跳转微信打开

  •  

超级个体的个人英雄主义,在企业里可能是一场灾难

原创 李志飞 2026-04-22 19:04 北京

真正的破局,是换一套系统——一套从第一天起就为多人协作而设计的系统。

最近这段时间,很多 CEO 都在焦虑同一件事。

朋友圈、科技媒体,每天都有新案例刷屏——

某个程序员一个人用 Claude,做出了以前需要一整个部门才能完成的产品。

某个设计师用 AI,一周交付了以前要三个月的工作量。

某个创业者独自一人,用 Cursor、OpenClaw、Claude Code 把完整的 SaaS 产品做出来上线,从零到收入,全程没有雇一个人。

超级个体的故事,听起来像科幻小说,但已经是每天都在发生的现实。

于是,几乎每一家公司的 CEO 都做了同一个动作:

组织全员学 AI 工具。

Cursor 要用,OpenClaw 要用,Claude 要用,各种 AI 助手全上。目标只有一个——把每一个员工都培养成超级个体,让每个人都能一个人顶一个部门。

但这里有一个问题,很少有人认真想过:

公司花了真金白银培养出来的超级个体,真的能让公司适应这个 AI 时代吗?

今天市面上几乎所有主流的 AI 工具——Cursor、OpenClaw、Claude Code——本质上都是为个体设计的。它们在本地运行,上下文只属于一个人,天然地把工作方式从在线拉向离线,从组织拉向个体。

这些工具不只是工具,它们在塑造人的工作方式。用久了,你会习惯一个人掌控全局,习惯所有东西都在自己手里,习惯不需要跟任何人对齐。工具和人的习惯互相强化,最终造就了超级个体——一种在个体场景下极度高效、但天然不适合组织的工作形态。

一家公司全力推动员工用这些工具,其实是在花钱把自己的组织一点点瓦解——从在线变成离线,从团队变成一个个孤立的个体。

这件事,需要高度警惕。

一、超级个体很强,因为上下文完整、一人掌控全局

超级个体能做到一个人顶一个团队,秘密只有一个:上下文完整。

从产品 Idea 到技术实现,从商业化路径到推广策略,所有的思考都在同一个脑子里。当他们把任务交给 AI 时,AI 拿到的是完整的意图、完整的背景、完整的判断标准——不需要猜,不需要等,直接端到端地把事情做完。

多个 Agent 协作时,共享同一套文件和上下文,没有权限边界,没有信息孤岛,摩擦几乎为零。自动化任务把每天的工作流串联起来,整个节奏像一台精密运转的机器,一个人就能驱动。

这套工作方式,正是被那些个体工具一点点塑造出来的。工具天然地把一切设计成围绕一个人运转,人用久了,也只会用这一套。在一个人掌控全局的场景里,集中就是效率——这不是工作风格,这是最优解。

但这套最优解,有一个隐含前提:只有一个人。

二、但规模化必然是多人的事,组织需要的是"可被协作的能力"

不需要交接,不需要解释,不需要对齐——因为所有的上下文都在同一个脑子里,不存在"传递"这件事。一个人的时候,这是最大的优势。

但规模化的产品不是一个人的事。产品经理、工程师、设计师、运营——不同工种之间要流转,不同工程师之间要接力。这时候,单人模式最大的优势,恰恰变成了最大的障碍。

一个人用 Cursor 或 OpenClaw 在本地写代码,离线就够了。但当另一个工程师需要接手,当产品经理需要知道进度,当运营需要理解产品逻辑——所有东西都锁在一个人的电脑里,对其他人来说就是一堵墙。

组织需要的不只是能力,而是可以被协作的能力。文档要共享,上下文要可传递,权限要有边界,工作流要对多个角色透明。超级个体那套"一切聚在一处"的模式,放进组织就行不通了。

那实际会发生什么?

三、超级个体带着个体习惯进入组织——三输

把超级个体放进一家公司,然后什么都不变。

他依然用自己的方式工作——所有东西围绕自己运转,提交代码是为了给自己备份和管理多个 Agent,文档是自己看的,工作流是为自己设计的。他不是不努力,他只是在用他最熟悉、最高效的方式工作。一切都是为了自己,不是为了协作。

但对同事来说,这是一场噩梦。看不到他在做什么,接不上他的节奏,摸不透他的逻辑。每一次协作都是一次消耗。

对他自己来说,同样痛苦。公司的流程、审批、会议、对齐——每一个环节都在拖慢他。以前一天能交付一个产品,现在一周开了五个会还没动工。

对公司来说,结果也难看。一个能力极强的人,产出远低于预期,团队的协作秩序也因此更加混乱。

三输。超级个体痛苦,团队痛苦,公司也没拿到它想要的价值。

但这还只是表面。习惯可以慢慢改,人可以慢慢适应。真正难解的,是工具本身的设计逻辑——它从一开始就没有"多人"的概念,带进组织,结构性的摩擦根本无法回避。

安全和权限

超级个体习惯把数据库密码写在 Skill 里,API Key 硬编码在脚本里。作为个体,这没什么问题,但一旦这些 Skill 需要共享给团队,密码和凭证就随之暴露——谁能看到这个 Skill,谁就能拿到这些权限。

文件系统

很多个体 AI 工具根本没有项目隔离的概念,所有人共用一套文件系统。A 改了一个文件,B 不知道,又把它改回去了。两个人同时操作,互相覆盖,谁也不知道哪个版本是对的。

自动化任务

超级个体喜欢用 Cron Job 把任务串起来,让多个 Agent 按顺序读文件、写文件、触发下一步。在组织里,文件系统是大家共用的,他的自动化任务在后台悄悄跑着,其他人完全不知道——直到发现自己的数据被改了,或者任务跑出了奇怪的结果。

跨项目的上下文与记忆

在组织里,同一个人往往同时参与多个项目。A 项目里积累的讨论、决策、背景知识,哪些应该让 B 项目的人也能用到?哪些又只属于 A 项目,不该外泄?共享边界划错了,要么信息孤岛,要么信息泄露,两个方向都是麻烦。

根源就在这里:工具为个体设计,塑造了个体的工作习惯,两者互相强化。把这套东西带进组织,摩擦是必然的,越到后期越难收拾。

问题清楚了,那出路在哪?

四、组织本身必须彻底变——不是优化,是重构

很多人看到这里,第一反应是:那让超级个体改改习惯不就行了?

不行。习惯是工具塑造的,工具不变,习惯就很难真正变。而且更根本的问题不是人,是组织结构本身——传统的那套,在 Agent 时代已经彻底失效了。

传统企业的底层逻辑是:人是执行单元。所以要分工,要工种,要线性工作流——产品经理写需求,交给设计,设计交给工程师,工程师交给测试。每一次交接都是信息损耗,整条链条又慢又脆。

但如果 Agent 是主要的执行者,这套逻辑就彻底失效了。

你不再需要那么多工种

产品、设计、工程、测试——很多以前必须由专人承担的工作,Agent 可以直接完成。组织不再需要靠堆人来堆产出,而是靠少数人高质量地指挥 Agent。你需要的,是公司所有成员都具备一个人全栈指挥 Agent 的能力。

你不再需要线性工作流,你需要的是原型工作流

不是一个环节交付完才开始下一个,而是让 Agent 一次性端到端把原型做出来,然后再去迭代完善。Agent 可以并行,可以随时拿到完整上下文重新执行,"等上一个人交付才能开始"的串行模式,在 Agent 时代是一种主动降速。

你需要扁平、精简、多人协同指挥 Agent 的组织

不是一个超级个体单打独斗,而是多个人围绕同一套系统并行推进,每个人都能直接对 Agent 下指令、拿结果、做决策。

这是一次真正的组织变革,不是优化,是重构。那些还在用旧组织架构套新 AI 工具的公司,迟早会发现:工具换了,但瓶颈还在。

因为瓶颈从来都不是工具,而是组织本身。

但光靠组织变还不够。组织变了,用的还是那套为个体设计的工具,协作的问题依然解决不了。人和工具,必须同时换。

五、破局不是改变人,而是换系统

真正的破局,是换一套系统——一套从第一天起就为多人协作而设计的系统。

这套系统的核心逻辑只有一个:多个人一起协作,共同指挥 Agent 干活。

多个人坐在一起,不是来分工执行的,而是共同指挥 Agent。超级个体依然可以是主控,发挥他的全局视野和驾驭 AI 的能力;其他人不再是被他甩开的旁观者,而是真正参与进来的协作者,在跟 Agent 的协作中,能力也在成长。

当超级个体发现,有更多人加入之后不是被拖慢,而是更轻松、产出更多——他才会真正理解协作的意义。这不是妥协,是杠杆。

三输变三赢。超级个体解放了,团队有了真正的参与感,公司也拿到了结果。

当然,要把这件事真正做好,远比说起来复杂。多个人同时指挥同一个 Agent,消息怎么流转?谁的指令优先?什么时候该人来决策,什么时候交给 Agent 自动执行?文件系统、权限、上下文——在多人场景下,每一个细节都需要重新设计。这是一个真正意义上的人机协作系统,没有捷径。

这些问题,后面会有专门的文章来讲。

我们做的 CodeBanana,正是为这件事而生。

目前,CodeBanana 已开放企业客户申请,欢迎体验:

跳转微信打开

  •  

2026 年做搜索就是做 Agent Memory

原创 Jina AI 2026-04-22 14:30 新加坡

“大家今天还用 grep+md 做记忆召回,说明我们几年来语义搜索就没做好”

4 月 18 日,Elastic 中国 AI 搜索技术大会在北京召开。以下内容整理自 Elastic 全球副总裁肖涵,原 Jina AI 创始人兼 CEO 在会上的演讲。肖涵讲述了 AI 搜索的发展历程以及为什么说在 2026 年做 AI 搜索基本就是在做智能体记忆 (Agent Memory)。本文以第一人称呈现。

欢迎大家来到 Elastic 第一次在中国办这么大的技术研讨会。我是肖涵,北京人,大家可以先放松一下,欢迎来到我的家乡。

先简单介绍一下自己,以及我和 Elastic、尤其是和搜索的一些渊源,也帮大家回忆一下搜索这些年的发展。

我最早接触搜索是 2009 年,在惠普实验室(HP Labs)实习,拿 Lucene 做分词,做信息抽取。那时候叫 IE,不是 Internet Explorer,是 Information Extraction。还做了一些 LDA、主题模型这类东西。2009 年贝叶斯那套非常火,跟今天 Transformer 的地位差不多。

后来我去德国读博,做的就是贝叶斯机器学习。等我 2014、2015 年博士毕业出来,发现贝叶斯没什么人搞了,大家都在用 TensorFlow 做深度学习。又过了几年,Transformer 出来,把深度学习的架构统一了。

2018 年我回国,在深圳腾讯 AI Lab 做了两年搜索,做的是微信"搜一搜"背后的多模态和中文搜索。2020 年疫情的时候出来创业,成立了 Jina AI,专门做多模态搜索。

当时我立的 flag 是"颠覆 Elastic"。结果绕了一圈,2025 年 10 月被 Elastic 收购了。现在我在 Elastic 担任全球副总裁,专门负责 AI,主要是搜索底座模型的研发。

今天要讲的主题是智能体记忆。

先问一下在座有谁用过小龙虾?举个手。嗯,量不小,一看就是在中国,大家都很爱学习。那用过超过一个月的?少一些。超过两个月的?更少了。

那我相信大家都遇到过一个问题:用这类智能体,用一两次是尝鲜,但当你用了一周、两周之后,你是希望它越来越聪明的,随着你用它越久、它越记得住你的事。可惜目前这套记忆机制很不完善。

智能体记忆的痛点

讲一个两周前我自己的真实例子。

我跟小龙虾说:"我之前做了一个 911 的图表,你发给我一下。"911 是保时捷的一款跑车。然后它(我给它起名叫"小牛马")跟我说没找到,问我 911 是指恐袭还是别的东西。

我当时第一反应是模型降智了,或者被 fallback 到什么垃圾模型上去了。我特地查了一下,发现跑的是 Claude Opus 4.6,当时最好的模型。不是模型的问题。

那我就开始 debug。我问它:你刚刚用的什么搜索?怎么判断你记忆里没有这件事的?

它说它用了 Grep 做关键词匹配,又用 Memory Search 做向量语义搜索,把 Memory Markdown、Session Log、文件系统都扫了一遍。

方法上看着没问题。那接下来 debug 的点就是:你到底用的什么 Query?

它告诉我,第一次的 Query 是 911 chart graph visualization。它不知道 911 是什么,直接把我的中文翻译成英文去搜了,发生了一次 multilingual query 的转译。第二次更离谱,Query 变成了 September 11th chart visualization Twin Towers attack,直接搜成恐袭了。

这两个 Query,我的记忆库里当然都找不到。

后来我换了一个说法,"帮我把 992.2 的图表发给我"。992.2 是 911 这代车型的代号。一下就找到了,3 月 29 号做的。

所以就算你记忆系统整条链路都对,只要第一步 Query 构造错了,整个检索就是废的。而且这种事情从我 1 月份开始用到今天,一直在发生。

记忆,是今天 Agent 的一个很大的痛点。

回顾搜索的发展脉络

我们回顾一下,搜索是怎么走到"做智能体记忆"这一步的。

2009 年刚做搜索的时候,关键词就是 BM25、TF-IDF、倒排索引,Lucene 背后那套东西。

2015 年之后,向量搜索逐渐进入视野,最早是 Spotify 搞过一个,名字我都快忘了,然后是 Facebook 的 Faiss,Milvus,Elastic,这是第一批把 Vector Search 做出来的。但大家很快发现向量搜索也有问题:速度是一个,过度召回是另一个。向量搜索有个毛病,就是哪怕 Query 和文档完全不相关,只要分数差不多它就召回了。关键词搜索会零召回,向量搜索太柔,语义上都太柔化。所以后来大家把两者结合,做混合搜索。

2018 年 Transformer 统一了深度学习架构,BERT 成为把文本编码成向量的标配。

2022 年 11 月 ChatGPT 发布,RAG 起来,搜索和生成越走越近。我 2022 年写过一篇小随笔,搜索是过拟合的生成,生成是欠拟合的搜索。它们俩其实是对偶的。

2025 年还有一个时间点。春节前正月初一,DeepSeek 发布了 R1,非常火。它那套 reasoning 加 test-time compute 的范式让大家意识到,搜索可以边搜边 reasoning,再不断搜,最后生成一份很长的报告,这就是 Deep Research。2、3 月份 Google、OpenAI、Perplexity 都在做,包括后来做得比较好的 MiroMind。

2026 年呢?自从 OpenCloud 发布之后,大家对 Agent 的期待变了。不再是生成一份报告就结束,而是希望我一旦启动这个 Agent,它能连续干三四个小时,没人管、没人介入,它自己在那跑。

Jina AI by Elastic 搜索底座三件套

Jina AI 从 2020 年成立到现在六年,做的事情一句话讲完:我们在做搜索的底座。我们在观察这条进化路线上哪些东西是不变的。最后沉淀下来三套模型,Embedding、Reranker、还有一个 Reader (或者叫 Small Language Model)。

Embedding 大家都知道,就是向量,把文本或者图片转化成向量,然后用 cosine 余弦距离去匹配。

  • V1:默默无闻。

  • V2:2023 年 10 月发布,在海外引起了比较大的轰动,因为当时它是第一个开源的、支持 8K 上下文的模型,你能一次编码 8000 个 tokens,是第一家做开源长文本向量模型的,当时都是英语。之后我们还有很多双语版本。

  • V3:我们把所有双语版本都砍掉统一,重新训练了一个多语言的 embedding 模型。到现在仍然非常好用,在 Hugging Face 上月下载量大概在 500 万。

  • V4:2025 年发布的一个多模态 embedding 模型,可以同时编码图片和文本。有人说多模态模型 CLIP(OpenAI 的 CLIP)2022 年就搞了,你 2025 年才搞一个多模态的模型?其实它俩不一样。CLIP 用的是对齐训练,而 V4 的多模态是一个真正的多模态,它把图片拆成小的 patch,和语言一起放到一个大的语言编码器中编译成向量,而不是像 CLIP 那样有一个图片模态、一个文本模态,然后两个模态之间对齐。

  • V5:我们今年在加入 Elastic 之后,和 Elastic 一起研发的向量模型。V5 的性能和大小非常好。我们发布了两个版本:一个是 V5 text Nano,只有 2.39 亿参数;一个是 V5 Small,6.77 亿参数。相对于 V4 的大小(38 亿),小了很多。当然 38 亿对于大语言模型来说只是非常小的 toy example,但对于搜索任务我们要求的是快,在快的基础上做到精准。v5 的特点就是参数小,但性能强。

可以看到即便我们现在用更小的模型,其实可以达到更高的性能。V5 目前是文本领域做多语言搜索能够做到最好的。可以看到它是一个 Frontier model(前沿模型)。

放到 Pareto Frontier(帕累托前沿)上看,横轴是参数量,纵轴是任务分数,越靠左上越好,V5 目前在最左上那个角上。它是文本领域多语言搜索目前能做到最好的前沿模型。这个模型已经被 SIGIR 2026 录取了。

另一个我们做的是 Reranker。重排器有些人不太理解:我都有 Embedding 做语义搜索了,为什么还要 Reranker?你一次排好不就完了?

Jina Reranker v3: 全新“列式”重排器,0.6B参数刷新文档检索SOTA

原因是搜索是一个多层级联的 Pipeline。到最后一步,我们希望更细致地挖掘 Query 和候选文档之间字和字级别的相似度,也就是 token level 的语义匹配。Embedding 是把整篇文章压缩成一个向量,压缩过程必然有损失;Reranker 保留了每个 token 上的向量,因此可以把 Query 的每个 token 和 Document 的每个 token 两两对比。它的计算量比 Embedding 大,但粒度也更细。

Jina Reranker V3 是第一个真正意义上的长文本重排器,支持 131K 上下文,这篇工作获得了 AAAI 2026 FrontierIR Workshop Best Paper。除此之外我们还有一个 m0 版本,做多模态重排。

Jina Reader 相信很多人在用 Agent 的时候都碰过。对很多人来说,Reader 甚至比我们的模型更出名。这个今天下午 Reader 的作者会专门上台讲,我就按下不表。Reader 为什么是永远的神,YYDS。

长时程任务与智能体记忆

回到智能体搜索、长任务这件事。刚才说了 Deep Research 是 2025 年的一个重点,它就是一个 Loop。Agent 就是一个 Loop,在三个状态之间循环:Search、Read、Reason。

2026 年今天讨论最多的、你去问智谱、MiniMax 这些厂商,PR 稿里必提的一个词就是:他们的模型如何支持 long-horizon task。长时程任务,就是 Agent 能自主运行多长时间,三四小时、三四天没人管它还能接着干。有个叫 METR 的 Benchmark专门衡量每一个大模型放在一个环境中自主解决任务的最大时间长度。目前大约是 4 到 5 个小时,这个趋势在不断上升。

你让一个 agent 工作 4 个小时,中间它要搜索几百次、读几百个文档、在失败路径上回退几十次。这些经历不可能全部塞进 context window。它必须有一个地方去存、去查、去更新。

逻辑就很清楚了:当 Agent 的目标变成长时程任务,持久记忆就不再是可选项,是命门。

记忆该如何表征?

这就引出了很多问题。最基本的问题就是:记忆该如何表征(representation)?

很多人忽视了在机器学习里最大的一个问题,其实不是方法,而是表征。机器学习的顶会之一 ICLR 的全称就是 International Conference on Learning Representations,表征学习国际会议。顶会以"表征"命名,你就知道这个概念在整个 AI 领域的位置。

我们用了很多年才发现,BERT 是对语义的一个非常好的表达,它给"一段文本应该长什么样"这件事找到了一个好的 representation。当表征就位。Vector Database 才成立。向量数据库存的就是这种表征。

所以当我们要做智能体记忆,第一个问题不是"用什么数据库",而是:记忆的 representation 到底是什么? 基于这种 representation,我该怎么去做 CRUD?

一条聊天记录,一个事实三元组,一张知识图谱?还是一段向量,一个时间戳+事件对,还是模型权重本身?不同的答案,会催生完全不同的系统。这也是今天智能体记忆领域最混乱的地方,大家在不同的表征上各自开工,谁也说服不了谁。

而且即便选定了表征,还有三个问题要回答。

第一:基于这种表征。怎么做 CRUD,这是做数据库的人熟悉的。第二,如何在不破坏对话效率的前提下,把知识从对话里抽出来变成可检索的资产。这件事要难得多,因为对话是实时的,提取是有成本的,抽多了慢,抽少了漏。第三,也是我自己最在意的。记忆能不能跨模型迁移?

我今天用智谱,明天我不粉了,变黑粉了,投奔 MiniMax,我希望我的记忆能搬过去照常运行。所以记忆应该和上层模型解耦。

我们今天从生物学的角度强行关联一下,看一下人是怎么完成记忆的。大家知道这是什么吗?这是刀盾狗(Doge),现在非常火的一个生物。

人脑的记忆是分层的。当一个新概念进来,先有视觉输入,前额叶皮层判断值不值得记,海马体负责编入,睡眠会强化记忆,最后它变成一种长时程的技能,重新烧录到新皮层。

我们可以强行做一个映射。我说两次"强行",是因为 我本人并不太赞成把人脑的东西硬搬到 AI 上,碳基和硅基的运行方式可以完全不一样。但如果强行对应:海马体对应 RAG 的实时检索,新皮层对应微调或预训练模型,前额叶就是当前的 Context Window。

什么时候该忘?选择性遗忘

讲智能体记忆还有一个特别重要的问题:什么时候该忘?

举个例子,我第一次用小龙虾的时候,把我六年创业的事一口气全喂给它。结果它经常把我六年前想过、早就放弃的一个事情拿出来问我。但人是会变的,有些事我忘了,有些事我不做了。

这个问题其实 Andrej Karpathy 有一段很精准的描述。他说:现在我们看到的 agent 系统都有一个最致命的问题,就是它不会选择性遗忘。

如果系统不做选择性遗忘,最后一定是乱的。大脑不遗忘会超负荷;Agent 不遗忘,也会被自己的历史拖垮。

目前 Agent 记忆有几个缺陷:一是遗漏,就是 911 那个例子;二是失真,也就是幻觉(hallucination);三是幻觉继承。

这时候会有一个非常有意思的事情:冷启动悖论。反而是当你用一个新模型或新 agent 的时候,感觉会非常好,因为你知道这是一个全新的 agent,对它的期待非常低,所以用起来还挺顺手。而当你使用时间越来越长的时候,你期待这个 agent 变得越来越好,但它并没有,因为它的记忆体设计得非常差。这就导致它的用户留存时间会非常短,用户对 AI 的信任被长期蚕食。整个行业的节奏被记忆这件事拖住。

市面上智能体记忆产品的分类

我梳理了一下,目前做智能体记忆的产品,开源加闭源至少有十几家。再加上老牌数据库公司 PingCAP(做 mem9)、Milvus 也在做,以及平台内置的方案:ChatGPT 的用户记忆、Claude.ai 的知识库、Claude Code 和 Codex 的文件系统。

这么多产品,怎么区分它们?我用一句话概括:Source of Truth 在哪? 这是区分所有记忆产品的第一性原则。沿着这个原则,可以分成三大类:

第一类是数据库派,向量数据库、SQL、Key-Value 存储。对话经过 LLM 抽取 facts,存进向量库或图谱,检索时注入上下文。结构化程度高,查询效率好,但"一条记忆应该长什么样"这件事由 schema 锁死,灵活性有限。

第二类是文件派,Markdown、纯文本。Agent 读文件、工作、写回文件、不断累积。优势是透明可编辑、可版本化,缺陷是文件会膨胀,需要 intelligent forgetting。代表是小龙虾、MemSearch。

第三类是模型派,真相就是大模型权重或上下文本身。模型自决定记什么、忘什么、整合什么。优势是零配置、自适应,缺陷是完全黑盒、不可审计。代表是 Letta、ChatGPT。

我们刚才看到三大类别,目前所有记忆体基本可以按这三类划分。当然还有一些结构化存储、扁平化存储、主动管理和被动管理,这可以从另一个坐标轴对所有产品进行分类。

行业共识:主流的记忆工作流

虽然流派不同,但主流工作流有高度共识,我稍微总结了一下,我们今天看到的大部分智能体记忆框架基本上都 follow 这个工作流:

  1. 从聊天记录中,通过大模型提取事实或记忆结构

  2. 将这些记忆结构:

    • 要么转化成 向量

    • 要么转化成 知识图谱

    • 要么用一些 时序数据库(时序非常重要,因为就像我刚才说的,你需要选择性遗忘)

  3. 基于时序数据库、知识图谱和向量库做混合检索

  4. 检索完之后你还无法直接呈现到上下文中,要解决两个问题:

    • 冲突:当检测出两个记忆相互矛盾的时候,该怎么解决?

    • 随时间的衰减:旧记忆权重怎么降?

大部分主流框架基本 follow 这个设计理念。当然并不是每一个框架都采用所有技术,有些只选择做几个,有些则全链都做。

小龙虾记忆结构详解

既然现场这么多人用过小龙虾,我们具体拆一下它的结构。它是典型的文件派。

它的真相源是一个 memory 文件夹,里面按天组织 Markdown 日记。另外有一份 memory.md 主文件,存长期记忆,包括用户画像;还有一份 soul.md。存它自己的"灵魂画像",也就是它对自己是谁、自己怎么做事的内部表征。

从这些真相源派生出两个索引:SQLite FTS5 做 BM25 关键词检索,LanceDB 做向量检索。在索引之上做混合检索,用 RRF 融合、MMR 去重、再加时间衰减。对外暴露两个接口:memory_search 和 memory_get。

在此之上,它还模仿了人类的睡觉习惯:有深度睡眠、浅度睡眠、REM(Rapid Eye Movement,快速眼动)。在这三个基础上设置一套机制。 

这些是仿生学的概念,总体来说它设置了一套机制,能保证不是每一条记忆都完全被升级到长期记忆上,而是通过设置阈值、判断条件来提升一部分记忆。

模型派:真相在模型里

除了文件派,还有模型派。这是我个人比较看好的方向。 也许到某个点,大家发现 Transformer 架构本身就把记忆问题解决了,直接 The bitter Lesson,力大出奇迹。

目前已经看到这个趋势,比如千问 3.5 的 MoE 模型已经可以扩展到 1M token,在一个 24G 显存的 GPU 上可以流畅运行。如果我的全部记忆能被压进或者直接装进 1M 窗口,那我就不需要分层设计了,直接用模型本身做召回。

还有一家公司是 EverMind AI,他们最近把上下文推到了 100M token,你可以直接在 KV cache 中存 100M token。他做这个事情是因为:如果不做特殊的架构处理,上下文越长召回质量越差。所以 EverMind 这家初创公司在 Attention 机制上做了特殊设计,搞了一个叫 MSA(Memory Sparse Attention,记忆稀疏注意力) 的东西,保证它在超长 100M 上仍然有非常好的召回效果。

Benchmark

学术圈对智能体记忆已经做了不少 benchmark,我简单点一下。这个很重要,我们做一个任务的时候,和民科最大的区别就是:我们要跑 Benchmark,验证完效果才去说这个东西有用。

目前主要的数据集有 LongMemEval(500 问,测五大能力:信息提取、多会话推理、知识更新、时序推理、安全拒答)、MABench(ICLR 2026,测精确检索、测试时学习、长程理解、冲突解决)、MemoryArena、LOCOMO、EverMemBench(首个多方协作基准,100 万 + tokens)、清华的 MemoryBench(首个用户反馈持续学习基准)。

目前在做记忆体测试的时候,这些是主流的 Benchmark。大家可以发现:上下文越长,记忆体效果越差;多会话推理、冲突解决目前都是非常难的问题。

Evermind 还提过一个我觉得特别有意思的问题:今天我们讨论的记忆,不管是小龙虾还是别的,都假设 Agent 是一个一对一的个人助理,这是相对简单的场景。但如果把 Agent 丢进一个群聊里呢?它该记谁的?怎么分别记每个人的? 所以记忆的未解决问题还非常多。

这里列出一些关键论文。

我们看今天的 RAG(包括混合召回)之所以不够用,是因为它本身没有状态、没有层级,至少在做 embedding、做 keyword search 的时候,它并不包含状态,也不包含时间关系。它是一个非常扁平的召回模型,所以这种模型并不擅长做记忆。这已经是目前的共识,所以才有很多图数据库、时序数据库想介入进来一起把 agent 记忆模型做好。

基础设施构建

如果我们今天看所有的智能体叙事框架,底层一定要有:

  • 向量检索(必需),尤其是 多语言向量检索,比如刚才 911 的事情,中文需要翻译成英语,不能说中文搜不到英语的内容。跨语言搜索能力一定要有。

  • 重排器和 Reader:可能需要,有时可能不需要。

在此之上有存储和搜索,包括 Elasticsearch 中的向量数据库。可以看到 Jina 和 ES(Elastic)基本上包含了整个搜索的底座。

另外再号召一下:Elasticsearch 和 Jina 融合之后,我们对于智能体记忆的底层有了一个非常全面的覆盖。 我希望大家能够利用 Elasticsearch 去构造自己的智能体记忆框架。

能力

Jina + Elastic 怎么覆盖

向量语义检索

Jina Embeddings v5(677M / 239M)

BM25 关键词搜索

Elasticsearch 原生支持

稠密 + 稀疏混合

Elasticsearch 原生 RRF

精排重排序

Jina Reranker v3(131K 上下文)

网页和文档理解

Jina Reader

多模态向量化

Jina Embeddings v4(文本 + 图像 + PDF)

元数据和多租户

Elasticsearch index / alias

目前 Elastic 还没覆盖的,是知识图谱遍历,以及如何把大模型放到架构中做事实抽取(extraction)。

Hot Take

1. 统一范式还没出现。 我在做智能体记忆调研的时候发现:其实统一的范式并没有形成。有些人从仿生学角度看这个问题,有些人从自己的使用习惯、工作效率上看这个问题。这非常像 2017 年 Transformer 没出来之前的深度学习,百花齐放的状态,包括 CNN、RNN、LSTM,这些东西百花齐放。

2. 纯文本派是躺平。不想构建任何模型,也不想构建任何仿生学层级,基本靠 grep、keyword search。这几年 search 发展太快了,从 RAG 到 deep research,很多人已经疲惫到说:"反正一切终究会被大模型吃掉,那你又何必去奋斗呢?反正到最后你就躺三个月,没准大模型出来就已经把这个实现了。" 我个人认为这是一种躺平,这种想法是有一定天花板的,而且天花板是显而易见的。

3. Unlearning 是一笔多年的技术债,该还了。 目前所有系统都是只增不减,实际上是一笔技术债。我当时做机器学习的时候,2009 年大家就讨论过机器遗忘(Machine Unlearning):怎么把已经训练的、已经学到的东西忘掉?一个现实类比就是"刷抖音这号废了,重新开号吧"。推荐系统一旦被污染就无法恢复,本质就是它不会遗忘。智能体记忆面临完全一样的问题:噪声一旦写入,就永久污染所有后续检索。

4. 推荐系统会因为智能体记忆重新火起来。智能体记忆的核心是个性化:记住用户偏好、行为模式、历史决策。这跟推荐系统做了二十年的事完全一样。小红书、抖音、淘宝这些推荐系统做得好的公司,凭借经验和先天优势,可能会在这个智能记忆体的时代发挥出来。

这就是我今天的演讲。希望对大家有所帮助,也希望让大家对智能体记忆的发展脉络和未来走向有了一个整体的认识。

另外再号召一下:Elasticsearch 和 Jina 融合之后,我们对于智能体记忆的底层有了一个非常全面的覆盖。 我希望大家能够利用 Elasticsearch 去构造自己的智能体记忆框架。

谢谢大家。

图片

跳转微信打开

  •  
❌