铃阅时讯
❌

普通视图

MiMo-V2.5 系列推理全链路优化:将 Hybrid SWA 效率推向极致

2026年5月30日 18:39

原创 小米大模型 2026-05-30 18:39 北京

MiMo V2.5 系列模型(包含 MiMo-V2.5、MiMo-V2.5-Pro等)融合了多个架构特点:Hybrid Sliding Window Attention(Hybrid SWA)通过混合窗口注意力将 KVCache 存储降至 Full Attention 的约 1/7;MoE 以稀疏激活在保持模型容量的同时降低单 token 计算成本;多模态 Encoder 支持视觉、音频、视频等跨模态理解。三者叠加,赋予 MiMo-V2.5 系列模型在长上下文与多模态场景下显著的效果与效率潜力。

从 MiMo-V2 模型设计之初,我们就有一个非常明确的目标:训练出一个在长文推理场景下既足够强、又足够高效的模型。但这两个目标在工程上天然存在张力。强推理能力意味着模型需要具备对长距离依赖关系的建模能力,而这通常对应着更大规模的注意力计算与更高昂的 KVCache 开销。在传统 Full Attention 架构中,Attention 的计算量与 KVCache 存储都会随上下文长度快速增长,使长上下文训练与推理的成本迅速变得不可接受。Hybrid SWA 的核心思想是在局部窗口注意力(Sliding Window Attention, SWA)与全局注意力(Full Attention)之间进行分层混合:绝大多数层仅计算局部窗口内的注意力,只有少量关键层保留全局视野。理论上,这种结构能够将 Attention 的计算复杂度压低到接近线性,同时依然维持对长程依赖关系的建模能力。

但理论上的架构优势,并不会天然转化为真实线上系统中的效率优势。一方面,Hybrid SWA 显著增加了 KVCache 缓存命中、前缀匹配以及 Full / SWA 双语义一致性维护的复杂度;另一方面,在真实工程系统中,多级存储的数据搬运、异步 prefetch 与调度不一致,分布式 cache 状态难以对齐,共同使理论收益难以直接兑现。

除了 Hybrid SWA,MoE 对分布式调度与负载均衡提出了更高要求;多模态 Encoder 在大图、长视频场景下的吞吐瓶颈同样亟待突破。此外,调度策略、Prefill / Decode 执行链路等通用环节的优化也不可或缺。本文记录的,正是围绕 MiMo-V2.5 系列模型的一次推理系统全链路工程化实践,覆盖 KVCache 管理、分级缓存系统、SWA 前缀缓存树、调度策略、Prefill / Decode 执行链路以及多模态优化,系统性地将架构的效率潜力(尤其是 Hybrid SWA)兑现到生产环境中。

一、Hybrid SWA 架构的推理效率优势

在具体讨论优化工作之前,有必要先量化 Hybrid SWA 的效率上界——这既是架构选择的出发点,也是后续所有系统优化的理论基准和理论上界。

1.1 计算量分析

以 MiMo-V2.5-Pro 为例,该模型共 70 层,其中 10 层为 Full Attention,其余 60 层为 SWA,并且SWA的滑动窗口大小是128。与Full Attention 相比,Hybrid SWA的计算量如图所示。SWA 层占比为 6/7,因此 Hybrid SWA架构的计算量约为Full Attention的 1/7。在 Chunk Prefill 场景中 Prefill 近似 compute-bound,该差距基本等价于 Prefill 成本的理论缩减。

1.2 KVCache 存储分析

由于 SWA 层仅需保留滑动窗口内 KV,无需存储全序列,因此 KVCache 占用同样下降至接近 1/7。Decode 阶段近似 memory-bandwidth-bound,其延迟正比于模型参数加 KVCache 的读取量。在长序列下,KVCache 的体积可能远超模型参数,因此 KVCache 存储的减少几乎直接等价于长序列场景下 decode 成本的降低。

不同模型架构的 KVCache 存储有很大差距,访存模式也存在差异,以下是对各个国产模型估算的 KVCache 大小,可以看出 MiMo-V2.5-Pro 和 MiMo-V2.5 在 KVCache 上位列国产模型第二,仅次于DeepSeek-V4-Pro 和 Flash。

需要注意,实际成本差异并不严格等价于 KVCache 规模比例,因为还存在与序列长度无关的固定计算与访存开销。但在长上下文场景下,整体趋势保持一致:短文性价比接近,序列越长推理成本优势越大。

二、KVCache 系统重构

MiMo-V2 和 MiMo-V2.5 系列作为较早采用 Hybrid SWA 架构的模型,但在当时,无论是主流开源推理框架还是缓存系统,对 SWA 的支持都并不完整。在 MiMo API 上线之初,我们选择了 SGLang v0.5.5 作为服务后端的 codebase,接下来马上就遇到一个严峻的考验,在当时的版本,SGLang 的 HiCache 不支持 SWA,或者说早期的 SWA 支持是以“存储 Full KVCache 的代价来兼容 SWA”的方式实现的。虽然有一些临时方案可以让 SWA 更加可用,但是我们还是希望做一套上限更高并且更好用的 KVCache 系统。

2.1 SWA KVCache 管理

KVCache 双池

Hybrid SWA 带来一个核心存储矛盾:Full Attention 层需要保留全序列 KV(O(N)),而 SWA 层仅需维护滑动窗口内 KV(O(W))。但在传统单一 KV pool 设计下,系统必须按 O(N) 为所有层统一分配显存,使 SWA 的窗口稀疏性无法被利用,实际存储效率退化为 Full KVCache 的近似实现。

为解决这一问题,一种很自然的想法是将 KVCache 拆分为 Full Attention 与 SWA 两个独立池,并在系统层进行统一抽象:

  • 物理层面:分别维护 Full KV pool 与 SWA KV pool,SWA pool 仅按窗口大小配置容量,并支持基于 window 的独立 eviction,从而将 SWA 存储严格限制在 O(W) 规模;该机制同样延伸至 L2 与 L3 存储层级。

  • 逻辑层面:对上层(前缀树、调度器与传输协议)仍暴露单一序列视图,由 Full Attention 索引作为权威索引,并维护 Full → SWA 的映射关系,实现透明分层存储。

  • 调度约束:系统在接入请求时同时校验 Full KV 与 SWA KV 的容量约束,避免单一维度的资源误判。

  • 数据搬运:跨层传输仅基于 SWA mask 进行,确保只搬运有效窗口内数据,避免冗余带宽占用。

通过上述设计,SWA KVCache 在系统层面实现严格 O(W) 存储约束,使整体 KVCache 容量效率提升约 7×,从而真正释放 Hybrid SWA 的结构优势。主流推理框架也都采用了类似的实现方案。

KVCache 按层异步拉取

在 SWA KVCache 存储优化实现后,SWA 层只需要 prefetch 极少量的 KVCache,这使得从 Host prefetch KVCache 到 Device 的过程通过 layerwise 粒度的调度就能实现完美的 overlap。从而在推理过程中对 Cache 读取的成本接近于0。

SWA-aware 前缀缓存树

传统 RadixAttention 的命中规则建立在一条朴素假设上:token 序列相等 → KV 也相等。这条假设在 Full Attention 模式下成立——只要两条请求共享同一段 token id,它们对应的 KV 就一定还在 pool 里,可以直接复用。

但在 SWA 模式下这条假设被打破了。原因在于:前缀树的逻辑生命周期,与 SWA KV 的物理生命周期并不一致。前缀树节点的长度并不受 SWA 窗口约束。一个节点的序列长度既可能短于窗口,也可能远长于窗口;而节点还会随着请求合并、分裂、移除不断变化。于是,一个前缀树节点虽然逻辑上仍代表一段完整 token 序列,但它对应的 SWA KV 可能只剩最后一部分,甚至已经完全不存在。如果前缀树仍按"token 相等就命中"的规则给出复用长度,调度器拿到的可能会是一段"尾部 KV 已蒸发"的伪命中——后续 attention 计算会读到无效或被覆盖的 slot,直接影响模型效果。

要让前缀复用在 SWA 模式下保持正确且高效,需要从三处改造前缀树的语义:

  1. 匹配规则升级为"窗口安全长度":除了 token 相等,还要保证尾部至少 W 个 token 在 SWA 池里仍有有效 slot。匹配长度被裁剪到这条新边界——越过它的部分按 miss 处理。这样保证命中段拿出来的 KV 一定都有效。

  2. 淘汰路径与请求生命周期绑定:长 prefill 的每个 chunk 完成、请求结束、decode 每生成一定数量 token,都触发一次窗口外 SWA 释放。这保证 SWA 池在长上下文 / 长输出任务中占用恒定在 W 或 chunk 量级,而不是随序列长度增长。

  3. 节点同时承载两套索引:每个前缀树节点要记录两份信息—— Full Attention 段索引(决定逻辑顺序、参与 Full Attention 层计算)和 SWA 段映射(决定窗口安全性)。淘汰时也要分别管理:可以单独淘汰窗口外的 SWA 段而保留 Full Attention 段(让前缀仍可被全 Full Attention 层复用),也可以整段淘汰。

SWA 把 KV 体积压到 1/7 是容量层面的收益,命中率则是复用层面的收益。两者乘起来才是 prefill 阶段实际计算成本的曲线。引入"窗口安全长度"匹配规则后,同样 token 容量的 KVCache 命中率理论上是小幅度下降的,但同样存储容量下的 token 数量达到数倍,实际命中率大幅度提升。

KVCache 命中率提升优化

HiCache 三级都改造为 SWA-aware 后,device、host、storage backend 端各自维护一套“哪些位置有有效 SWA”的状态,而 HiCache 的搬运链路是异步的、跨部署的 Cache 是各异的、跨 session 的共享前缀的长度也是各异的——这意味着各端的 Full Attention Cache、有效 SWA 索引很容易出现不一致的现象。根据 SWA-aware 前缀缓存树的匹配规则,如果一个序列在 Full Attention Cache 上能命中、但在 SWA Cache 上不能命中,会带来严重的匹配长度裁剪,裁剪得越多,需要重算的长度越长,SWA Cache 优化效果就越低。因此,我们针对不同场景做了分布式一致性和缓存命中率的优化:

  • Device 端完备,host 端空缺:当 L3→L2 预取出于带宽与延迟权衡仅拉入序列尾段、或 L1 前缀树重组后未同步到 L2/L3 时,会出现 device 端完备但 host 端空缺的问题。对此,我们在前缀树发生节点合并、prefill 完成等时间节点,主动检查 device / host 两套 SWA 占用的差集,在 host 端的 SWA pool 里补分配 slot,把 device 的 SWA KV 异步 D2H 写入。

  • Host 端完备,device 端空缺:等到下一次 H2D 完成自然对齐,无需主动修补。

  • 高频序列 L3 前缀过期:长序列头部因高频访问持续存在于 L1/L2,加上 Cache 亲和性使相同前缀请求路由到同一节点,L3 中的 Cache 因长期未被直接访问而可能被 storage 淘汰策略清理,从而导致全局高频序列的 L3 Cache 被提前释放、跨机复用大打折扣。对此,我们在访问到 L1/L2 上的 Cache 时,以一定周期 query L3 Cache,避免淘汰。

  • 中短序列的 SWA留存策略:对于中短序列的 SWA ,我们根据用户请求 pattern,固定在某些长度留存相对稠密的 SWA KV Cache。尽管调高 SWA 的密度会使得整体 KV Cache 中 SWA 的比例上升,但能直接惠及多用户共享 system prompt 等场景。

通过上述优化,我们把 KV Cache 容量层面的扩增真正转化为高有效命中长度,使跨 session 长前缀复用成为可能,尤其利于 agent 长会话、多用户共享 system prompt、多次访问同一 codebase 的 tool call 等场景。

2.2 GCache:高性能分布式缓存基础设施

GCache 是小米存储团队开发的高性能通用缓存,它是构建存储“训推一体”体系重要的一环。早期在训练场景下,存储团队意识到一些开源的缓存项目对分布式文件系统的加速效果有限,无法把性能发挥到极致,因此便开启了自研的道路。之后,随着 MiMo 大模型发布,推理服务上线运行,团队也将 GCache 改造成立独立的存储产品,用于模型分发、和作为推理引擎的 L3 KVCache。

GCache 同时支持文件和 KV 语义、支持 内存 / 磁盘 / 远程 的多级缓存,具备 shm 内存持久化和全链路零拷贝能力,支持高并发非阻塞 IO 和 RDMA 通信等高级特性,满足了上层业务对高吞吐和低延迟的性能要求,同时具备良好的可扩展性。

架构设计

GCache 具备几个特点:

  1. 非中心化的元数据管理方式,使得集群规模可以不受限制扩展:

    • 对 key 计算一致性哈希,确定存储位置。

    • Master 采用 Raft 高可用部署。但 Master 只负责管理心跳和服务发现,IO 路径不经过 Master。

  2. 服务端同时支持内存和磁盘缓存:

    • 内存的冷数据会淘汰到磁盘,磁盘的热数据会提升到内存。该模式对推理场景十分友好,自动保证了活跃session的性能,也降低了长时间未启动session的成本。

    • 内存支持持久化到 shm,重启服务不丢缓存。

    • 支持平滑扩容或缩容机器,期间不丢缓存。

  3. 提供多语言 SDK,启动专属线程,将用户请求进行切片和派发:

    • 不占用用户线程的资源;切片提高并发,将 IO 大小控制在对 RDMA 友好的范围内。

    • 线程以异步模式回调,可灵活控制回调粒度,如单个 kv 级、batch 级、或者 CUDA stream 级。

网络优化

目前主流的 GPU 机型,都配置了 8 张 400G 高性能网卡,然而,即便是考虑了 PD 分离部署,现阶段的推理框架还是很难跑满网络带宽,以至于业界出现了要给网卡减配以便降低成本的声音。

为了充分发挥出高网的能力,GCache 优先使用 GPU 网卡而不是前端网卡进行通信,并在通信模块上做了大量优化,如 NUMA 绑定、同轨亲和等。在具体性能指标上,使用 1MB 大小的 IO,单进程的 RDMA 读吞吐可以达到 170 GB/s,而延迟只有 280 us;在 GDR 场景下,由于 HBM 的带宽更高,单进程可以达到约 350 GB/s,足以满足推理框架对通信的性能要求。

存储成本优化

2026 年无疑是业界对存储成本较为敏感的一年。不同于其他友商使用存储专用机型,GCache 优先采用在 GPU 机器上混布的方式,接管了 Prefill 和 Decode 节点的部分内存,和机器自带的数块 NVMe SSD,额外的存储成本为 0。

稳定性保障

由于是混布,GPU 机器的高故障率成为了摆在稳定性前的一道门槛。上线以来,GCache 基本上每天都会遇到 server 所在的机器故障。首先,团队花了大量时间和精力加固代码的故障处理逻辑;其次,由于 key 是一致性哈希全打散,通过对 session ID 进行提前逻辑分组,也减少了故障半径;最后,结合底层平台提供的硬件检测功能,提前发现故障,使用自动化流程进行数据迁移。对于极少量突然宕机,来不及提前处理的,通过设置较低的 SDK 超时时间,让推理框架及时感知 miss 并进行重算,使得前台的推理流程不会受到较大影响。

基于上述工作,GCache 得以在混布状态下一直保持单副本存储,而不用使用多副本手段提升可用性,这也是存储成本较低的重要原因之一。

2.3 针对缓存命中率的讨论

得益于前述 针对SWA 在 KVCache 上的优化——更低的存储占用,辅以更加稳定的大容量 GCache 作为 L3 存储——我们得以显著延长 Cache 的 TTL(Time-To-Live),并由此大幅提升KV Cache缓存命中率。KVCache 的淘汰本质上源于存储容量约束。当容量趋于饱和时,系统须优先保留新请求产生的 KV Cache,并按 LRU等策略淘汰历史中被访问的条目,这直接导致某一 context 在数小时后被复用时往往已无法命中。SWA 的极小存储占用使得相同成本下可承载的并发请求缓存量成倍提升,而大容量 L3 则以低成本进一步扩充了可用容量——存储空间越充裕,KVCache 被迫淘汰的压力越小,留存时长自然越长。TTL 越长,历史 context 的可命中窗口越宽,Cache 命中率随之水涨船高。此外,SWA 更小的带宽传输压力虽不直接作用于 TTL,但显著降低了多级存储间的数据搬运开销,为整套缓存体系的稳定高效运转提供了保障。

模型上线以来,我们在服务端持续观测到:在主流优质 harness 框架下,服务端 KV Cache 命中率平均可达 93%;对于高强度、长周期使用的个人用户,该指标更可攀升至 95% 以上乃至更高。后续我们将持续迭代 SWA 的 KV Cache 管理逻辑,并联合更多 harness 框架推进 harness-inference 的 co-design,以进一步优化缓存命中率上限。

三、调度优化

早期 SGLang 社区的 router 服务还尚未完全成熟,多个实例间没有做数据共享,如果某个 router 服务意外故障或者请求路由到不同的 router 服务,会出现 KVCache 调度回退的问题。为了解决这个问题,以及确保在大规模集群部署中的高可用性,小米开发了可动态扩展的无状态调度器 LLM-Router,通过使用 Redis 作为中心化存储,避免了单服务故障后的 KVCache 调度回退现象,从而更稳定的保证了缓存命中率。

3.1 KVCache 与负载亲和调度

由于 HiCache 对于 L2 的命中率非常敏感,如果 L2 没有命中,就需要去 L3 查找并拉取 KVCache,等待拉取结束后才能对该请求进行推理。从 router 侧提升 L2 命中率可以降低不必要的同步等待,从而直接提升吞吐性能。

Router 中通过将分发过的请求维护在 Radix 前缀树中,实现了 KVCache 亲和调度。在多个 Prefill 实例间优先选择已经缓存当前请求前缀的节点,并同时兼顾负载均衡来避免热点倾斜。该策略上线后,将 L2 的缓存命中率提升了约25%,单机输入吞吐提升了约30%。其核心公式大致为:

    # 选择 score 最大的 worker,含义:缓存命中率高 + 负载低 = 得分高 = 优先选择

    score(worker) = matchWeight × prefix_match_percentage − normalized_load


    3.2 TTFT优化

    当模型服务出现排队现象时,传统的 First Come First Serve 策略没有考虑较高命中率和较低命中率请求的优先级关系,使得命中 Cache 更多但真实计算 token 更少的请求有可能等待 Cache 命中率更低的请求推理结束后才能开始推理。整体服务的 TTFT P99 会变得异常的长,拖慢整体吞吐的平均性能。

    为了解决这个问题,在 waiting 队列选择优先执行 prefill 服务时,Router 侧优先调度真实计算 token 数更少的请求,避免这些原本计算时间很短的请求被阻塞而导致 P99 过度劣化的问题。同时,这种策略会导致某些请求长期得不到调度的饥饿现象,所以我们还增加了等待时间的惩罚机制来平衡这一现象。结果表明,该策略对于较短的请求并不会降低服务质量,而对于较长的请求,该策略最高可以将 TTFT 的 P90 指标降低30%。

    四、Prefill 优化

    4.1 分布式配置

    理论上,prefill 阶段 EP(Expert Parallelism)越小,性能与吞吐越优,主要体现在三方面:跨的机器更少,跨机通信开销更低;DP(Data Parallelism)数更少,DP 间 attention 负载差异对性能的影响更小;每台机器承载的 expert 数量更多,MoE 负载均衡性更好。但 EP 大小受显存约束,需满足模型参数与 KVCache 的显存占用。早期 SWA KVCache 需保存所有 token 的 KVCache,导致 EP 被迫偏大;优化后仅需保存 SWA 部分 token,我们将 EP 缩减至原先的 1/2,端到端性能提升约 40%。后续我们将继续探索面向 Hybrid SWA 结构的 PP(Pipeline Parallelism)优化,进一步降低 EP 大小、提升整体吞吐。

    4.2 长度分桶策略

    MiMo-V2.5 系列的 Hybrid 架构相比纯 GQA 结构计算效率显著提升,但吞吐仍随序列长度增加而明显下降。下图展示了 Chunked Prefill 中,固定计算 16K token、搭配不同长度前缀时的吞吐:

    Agentic 场景下,超长请求大多来自于多轮 agent 交互,一般带有大量前缀缓存。当长度差异显著的请求被调度至同一模型实例时,短请求会被长请求拖累、降低整体吞吐,主要体现在两种场景:

    1. DP-Attention 同步:多 DP 在每层 attention 计算后需集合通信以同步进入 MoE 阶段的计算,同一 EP 组内的多个 DP 上若同时存在长请求与短请求,短请求将被长请求的计算拖慢;

    2. Chunked Prefill 干扰:不同前缀长度的请求编入同一 chunk 推理时,短前缀请求被长前缀请求的计算拖慢。

    为缓解上述负载不均衡问题,我们采用三级长度分桶策略(0–64K / 64K–256K / 256K–1M),将负载特征相近的请求聚合至同一桶内做计算,显著提升了线上 prefill 的平均吞吐。在此基础上,我们当前也正在探索更细粒度、更灵活的分桶机制,以适应线上负载的动态变化。

    4.3 MoE 负载均衡

    MiMo-V2.5 系列模型均采用 MoE 架构,需要考虑 prefill 阶段的专家负载均衡问题。由于预训练阶段引入了负载均衡的训练目标、且训练较为稳定,模型在训练时已学习到较为均匀的专家分配策略。推理阶段,在未启用任何专家负载均衡策略的条件下,各层平均专家负载度(一层中所有 rank 的平均 token 数与该层 rank 最大 token 数之比)约为 0.85,已处于较优分布水平。因此,我们目前并未引入任何专家负载均衡策略。后续我们将持续监控该指标,根据线上负载模式的动态演进按需引入相关优化。

    4.4 解决 NUMA 冲突

    部分 Ubuntu 系统的内核 numa_balancing 参数与 SGLang 的 numa-node 配置存在冲突,导致模型推理过程中计算 kernel 间偶发较大执行间隙。多机多卡部署下,各 rank 上该间隙出现位置随机,每次 rank 间同步时都会被最慢的 rank 拖慢整体计算流程,从而显著影响整体推理效率。禁用系统内核的 numa_balancing 参数后问题消除,端到端性能提升约10%。

    五、Decode 优化

    5.1 显存优化

    Agentic 场景下,多轮对话使上下文持续增长,KVCache 显存占用成为 decode 的主要瓶颈——显存被 KVCache 占满后 batch size 无法扩展,使计算打不满、 decode 吞吐受限,只能增加节点承载并发,推高推理成本。为了增大单节点并发,我们做了多个显存优化措施:

    1. Decode KVCache 完整支持 SWA:KVCache 有效容量提升近 5 倍。

    2. PD 分离中 KVCache 预分配优化:将尚未启动的请求的 prealloc 过程从 GPU 显存迁移至 CPU 内存,decode 实际启动时才搬入显存,消除资源预占造成的浪费。

    3. CUDA Graph 显存调优:优化 CUDA Graph 参数减少空间浪费,可用显存提升。

    5.2 MTP 优化

    MiMo-V2.5 系列模型原生支持 3 层 MTP 加速 decode 输出,但 prefill 阶段此前未开启 MTP,导致 decode 初始 128 输出 token 的 MTP 使用无效的 KVCache、预测接受率极低。由于 Agentic 场景下大部分输出序列较短,该缺陷使 MTP 加速效果大打折扣。通过在 prefill 阶段引入 MTP 支持并对 HiCache L2/L3 进行专项适配和优化,decode 前期 MTP 加速效果显著提升:第 0–128 token 加速比达 2.3×,第 128–256 token 加速比达 1.5×,有效降低了 agentic 场景下的真实 decode 成本。

    六、多模态推理优化

    基于 SGLang 社区 v0.5.7 EPD 方案,我们围绕 MiMo-V2.5 做了大量EPD 分离方面的工程优化与稳定性修复,在延时保持不变的情况下,将 Encoder 吞吐提升至 2 倍,目前正在将工作成果回馈 SGLang 社区(issues#24945)。优化前后的Encoder性能差异如下表所示:

    QPS

    Avg 延迟

    P90 延迟

    优化前

    15

    78.39ms

    100.76ms

    优化后

    30

    80.28ms

    82.94ms

    6.1 架构优化

    • 多模态Embedding数据复制与推理并行:在 Prefill 调度器主循环中,支持 TP 之间多模态 Embedding 数据异步复制,与 Prefill 推理重叠,减少 GPU 空闲时间。

    • Encoder支持数据并行:由于 Encoder 模型较小,设置 TP>1 反而会导致性能下降,因此,Encoder 我们采用TP=1 部署,同时支持数据并行,方便在单机 8 卡部署和运维。

    • Encoder支持跨请求组Batch:我们为 EPD Encoder Server 引入跨请求 Batching,通过 Encoder调度器将并发请求按模态聚合,多个请求的 image/audio 融合成一次 Encoder Forward再按请求切分返回,解决逐请求编码 GPU 利用率低的问题。

    6.2 预处理优化

    • 图片GPU预处理:大图场景下 CPU 上执行 resize/normalize/patchify 会大幅增加端到端延迟,因此我们将预处理迁到 GPU,消除 CPU 瓶颈。

    • 图片并行下载:我们使用多进程并行下载图片和 PIL decode,避免串行下载和 GIL 锁竞争带来的延时。

    • 多模态下载和forward并行:在早期 Encoder 实现中,batch 之间和 batch 内数据下载和推理都是串行的,导致下载时候 GPU 是空闲的;我们通过消息队列,解耦下载和推理,实现 batch 内下载和推理重叠。

    • 视频并行解码:将待抽帧索引均匀切分为 N 个 chunk,并为每个 chunk 创建独立 VideoDecoder 实例多线程并行解码,使 1 小时视频 Encoder 端到端延时从156s降低到23s。

    6.3 缓存优化

    • Encoder一致性哈希:多个Encoder场景下,Prefill 轮询选择 Encoder,导致多模态 cache 命中率降低。通过一致性哈希,我们将相同请求路由到相同的 Encoder,缓存命中率提升30%。

    • 机内Embedding缓存共享:通过共享内存,实现 Encoder 机内多卡之间共享多模态缓存数据,提升缓存命中率。

    七、后记

    回顾整项工作,MiMo-V2.5 系列模型的推理效率并非来自某一环节的单点突破,而是多维度协同优化的结果。Hybrid SWA 让 prefill 与 decode 同时受益,但未经充分优化的 KVCache 实现反而会在各环节抬高成本。围绕这一目标,我们系统性重构了 KVCache 管理、分级缓存、前缀缓存树,攻克 SWA KVCache 核心问题,优化了调度策略及 Prefill / Decode 链路,并经线上真实场景检验,最终将其理论效率优势真正兑现到生产环境。至此,Hybrid SWA 才发挥出在长文推理上兼具强度与效率的架构优势。再组合 MoE 配置和多模态推理的各种优化,极大程度提高了线上推理服务的性能。

    我们在此呈现首篇全面覆盖 Hybrid SWA + MoE + 多模态组合架构的大规模工程落地方案,并将由此节省的成本通过 API 降价回馈用户。同时,我们已将部分优化以 PR 形式回馈 SGLang 开源社区,并将持续推进更多开源计划,希望尽早让工程优化不再成为门槛,使这类兼具强度与效率的复合架构得到更广泛的探索与应用。

    跳转微信打开

    打造超级组织的延迟满足感

    2026年5月29日 22:06

    原创 飞哥 2026-05-29 22:06 北京

    超级个体之上,是超级组织。

    这两年,我心里一直有一种很强烈的感受:

    AI 没有先让所有人变轻松,它先把很多人的焦虑放大了。

    我见过很多过去非常成功的人。

    他们曾经靠经验、资源、人脉、胆识、管理能力,拿到过很多正反馈。那一套曾经很有效,他们也确实赢过很多次。

    但今天,事情变了。

    模型更新一次,行业认知重排一次;一个年轻人加上 AI,可能几天就做出过去一个小团队几周才能做出来的东西。很多原来熟悉的判断系统,突然开始失灵。

    于是有些人开始焦虑,开始买课,开始进圈子,开始追风口。

    也有一些我很尊重的"大哥",真的被收割过,被骗过钱。

    这件事让我很难受。不是因为他们不聪明,也不是因为他们不努力,而是这个时代变化太快。很多人过去赖以成功的东西,正在变成今天的负担。

    作为一个创业者,一个比较早下场研究和实践 AI 的人,也是一个在上市公司里承担经营责任的人,我并不想站在岸上点评谁。

    我自己也在不确定里。

    只是我觉得,既然我可能比一部分人早一点看见,手里也有一点点能力和资源,那我就应该做一些尝试。不是继续制造焦虑,而是把这条路踩得实一点。

    AI 时代最容易让人上瘾的,是成为超级个体。
    但真正能穿越周期的,不是超级个体。
    而是超级组织。

    一个人用 AI,太容易产生幻觉

    用 AI 当超级个体,很容易上瘾。

    打开对话框,说几句话,一篇文章出来了,一段代码跑起来了,一份方案成型了,一个产品原型有了。不太笨的人,用一两天就会产生一种错觉:

    我一个人,好像可以改变世界。

    这种感觉太爽了。爽到让人飘。我自己也经历过这种兴奋。

    尤其是对 AI 理解越深的人,越容易被这种即时满足感骗到。你会觉得,只要提示词足够好,只要工具足够多,只要自己足够快,整个世界都会顺着你的意志运转。

    但经营公司这件事,会很快把人拉回现实。

    因为组织不会因为老板会用 AI,就自动进化。

    你一个人飞起来,下面的人还在原来的地面上,这不是先进,这叫脱节。

    甚至有时候,CEO 变成超级个体,反而会让组织更痛苦。老板更快了,员工更慌了。老板看见了更多可能,团队感受到的是更多变化。老板觉得"这么简单为什么你不会",团队觉得"这个人又开始折腾了"。

    这时候,AI 没有变成生产力。
    AI 变成了组织内部新的压力源。

    打造超级组织,是一件反人性的事

    如果你想做的不只是"超级个体",而是"超级组织"——把整个团队、整套协作流程、所有人的工作方式都升级——你会迎头撞上一堵完全不同的墙。

    这堵墙不叫技术,它叫组织惯性。

    😤 有人会抵触觉得 AI 是威胁,担心自己的价值被替代。

    😶 有人会敷衍你让他用,他说用了;你问效果,他说一般;你再看,他其实只打开过三次。

    😰 有人会恐惧他不知道 AI 是来帮他的,还是来监督他的。

    😑 有人会无感"我以前这样干也挺好啊,为什么非要改?"

    更麻烦的是,组织的习惯本来就是碎的。有人用飞书,有人用钉钉,有人还在微信里拍板;有人写文档,有人只开会,有人靠口头承诺推进;数据散在各处,决策散在各处,经验散在几个老员工脑子里。

    这不是某个人故意不配合,这是组织自己的"操作系统"在自动运行。它有惯性,有引力,有路径依赖。

    把 AI 用在个人身上,很快。
    把 AI 用在组织身上,很慢。
    因为组织升级不是安装一个工具,而是迁移一整套操作系统。

    真正的超级组织,需要 AI 真的"在场"

    很多公司现在所谓的 AI 化,其实只是买了一批账号,做了几场培训,然后要求大家"提升效率"。

    这当然有价值,但我认为这还远远不够。

    因为 AI 如果只是某个人的私人助手,它只能增强某个人。它看不到组织。它不知道这个需求为什么改了五次,不知道上一次技术方案为什么被推翻,不知道这个客户为什么不能这么沟通,不知道谁在推动,谁在阻塞,谁表面答应了但其实没有资源。

    它更不知道这个团队过去踩过什么坑,形成过什么共识,有哪些不成文的规则。

    所以我一直觉得,真正的组织 AI 化,关键不是"每个人都用 AI",而是:

    AI 必须进入组织工作的现场。
    它要看见对话,看见任务,看见代码,看见文档,看见会议结论,看见决策过程,看见一次次反复背后的原因。

    当然,这里有一个必须被认真讨论的问题:

    这会不会变成监控?

    我觉得这个问题非常重要,也非常真实。

    如果一个老板把 AI 当成盯人的工具、压榨人的工具、追责人的工具,那它一定会失败。因为人会本能地防御,一旦开始防御,组织就不会产生真实信息,没有真实信息,AI 就只能学到一堆表演。

    但如果 AI 是用来减少重复劳动、沉淀组织知识、帮助新人进入状态、帮助团队少踩坑、让协作更透明,那它就不是监控,它是组织资产。

    差别不在技术,差别在管理者的初心。
    老实说,这件事我也还在摸索。初心很重要,但初心如何被团队真正感知到,这本身就是一个管理难题——我没有标准答案。

    我在用 CodeBanana 做的,其实是一个组织实验

    CodeBanana
    我现在在用 CodeBanana 做这件事。它表面上看,是把对话、Agent、工作区、项目上下文整合在同一个平台里。但我真正关心的,不只是一个产品功能。我关心的是:能不能让 AI 不再只是某个人的私人助手,而成为项目里的正式成员。过去,一个团队每天都会产生大量信息——一次讨论,一个决定,一次代码提交,一个需求变更,一个临时判断。但这些东西往往是碎的,散落在聊天记录里,散落在文档里,散落在会议里,散落在某个人的脑子里。最后,组织每天都在产生知识,但组织并没有真正拥有这些知识。老员工一走,项目断层。新人一来,重新摸索。需求一改,没人知道当初为什么那么定。团队明明踩过坑,下一次还会再踩。这就是很多组织最隐蔽的浪费。CodeBanana 想做的,是让这些过程不再只是孤立碎片,而变成 AI 能读懂、能关联、能积累的组织上下文。Agent 不是你一个人的秘书,它应该是这个项目里真的"上过班"的同事。

    熬过去以后,延迟满足会回来

    刚开始建这种组织的时候,几乎每天都是挫败感。你看到那个愿景,你知道它值得,但现实就是走得磕磕绊绊,慢得让人怀疑。

    员工不配合,流程跑不顺,数据不完整,工具之间打架,大家习惯不同。你每天都会冒出一个念头:"算了,要不还是我自己用 AI 干得快。"

    但如果你真的熬过去了,变化会在某一天突然出现。

    当 AI 参与了足够多的过程,看到了足够多的上下文,理解了足够多的组织历史,它会开始变得不一样。

    它不只是"回答问题",它开始理解这个组织。

    👁️ 看到全局每一行代码、每一次对话、每一个决策,AI 都在场

    🧠 理解组织知道谁负责什么、决策链路是什么、团队不成文的共识是什么

    🌱 适应环境知道跟研发说话要讲逻辑,跟运营说话要讲结果,知道这家公司踩过哪些坑

    这不是一个「被调用的工具」,
    这是一个真的在这家公司工作过的同事。

    更重要的是,这种能力不只属于老板,它应该属于组织里的每一个人。新人可以站在过去的上下文上开始工作,研发可以少重复解释历史原因,产品可以快速理解决策链路,管理者可以更早看到真实阻塞。

    那种感觉,就是延迟满足感汹涌而来的那一刻。😄

    它不像超级个体的即时满足那样轻盈,它更像是你种下一棵树,过了很久,第一次真正坐到树荫下面。你突然意识到:那些痛苦不是白熬的,那些磨合不是低效,那些看起来很慢的积累,正在变成别人短时间内复制不了的壁垒。

    未来的差距,不是"谁用了 AI",而是"谁的组织能被 AI 理解"

    我现在越来越相信,未来公司之间的差距,不只是有没有用 AI——这个答案太浅了。

    未来真正的差距可能是:你的组织,能不能被 AI 理解。

    如果 AI 只能理解老板,那这家公司只是有一个更强的老板。如果 AI 能理解团队,这家公司才可能长出新的组织能力。

    过去,一个公司的护城河可能是资源、渠道、品牌、流程、人才密度。未来还会多一个维度:

    AI 是否真的在这个组织里工作过。
    它有没有参与过真实项目?有没有见过真实冲突?有没有理解真实决策?有没有沉淀真实经验?有没有陪这个组织一起踩过坑、改过方案、打过仗?
    如果没有,它永远只是外部工具。如果有,它才可能成为组织智能的一部分。

    这正是我做 CodeBanana 这个实验的出发点——不是让 AI 帮某一个人,而是让 AI 真的在组织里工作过。

    我想把这个问题丢出来讨论

    所以,如果你现在也在经历 AI 带来的焦虑,我特别能理解。尤其是那些曾经成功过的人,可能更难受。因为你不是没有能力,你只是突然发现,过去那套让你成功的方法,正在被一个新系统重新定价。

    这很残酷,但也不是坏事。因为每一次技术周期,都会淘汰一部分旧的幻觉,也会给一部分人新的机会。

    只是这一次,我不太希望大家再被"超级个体"的叙事骗一次。一个人再强,也有上限。老板再快,也不等于组织变强。AI 真正值得我们投入的地方,不只是让一个人更快,而是让一群人以新的方式协作。

    这件事很慢,很难,很反人性,也很容易在前期看不到回报。但我认为,这恰恰是它最有价值的地方。

    即时满足大家都会追门槛低,竞争激烈延迟满足才是真正的壁垒难复制,护城河深

    也想听听大家的判断:

    Q 你认为 AI 进入组织,是赋能,还是一种新的监控? 

    Q 超级个体真的能替代超级组织吗? 

    Q 对于那些已经成功过一轮的人,今天该如何重建自己的判断系统? 

    这可能不是一个产品问题,这是我们这一代创业者、管理者、技术人,都必须面对的组织问题。

    真正的壁垒,往往不是资源,不是技术,不是品牌。而是那些看起来很慢、很反人性、很难坚持的积累——让 AI 真正进入组织工作的现场,陪着团队一起踩过坑、改过方案、打过仗。真正的壁垒,往往来自延迟满足。

    如果你也在想这件事,欢迎来 CodeBanana 一起试试。

    这是我们正在做的一个实验——不是卖一个工具,而是真的把 AI 带入组织工作的现场:跑在项目里,参与真实对话,沉淀真实上下文,陪团队一起慢慢建起那道别人复制不了的壁垒。

    如果这和你正在思考的事有共鸣,扫码注册,免费体验。

    扫码注册 CodeBanana · 免费体验

    超级组织的延迟满足感 · 飞哥说AI · CodeBanana

    跳转微信打开

    李志飞:从超级个体到超级组织——一个正在发生的AI组织实验

    2026年5月28日 10:03

    飞哥说AI 2026-05-28 10:03 北京

    如何从超级个体,走向超级组织。

    李志飞 X 腾讯研究院 AI跃迁者 |2026.05.22

    近日,出门问问创始人兼 CEO 李志飞受邀参加腾讯研究院「AI 跃迁者调研」第五期直播访谈。这是一档聚焦 AI 实践者的深度系列节目,而本期的话题,正是志飞这一年多来一直在做的事:如何从超级个体,走向超级组织。

    从 2012 年谷歌回国创业,历经语音助手、智能手表、AI 配音,李志飞是中国 AI 创业浪潮最早的一批亲历者。这一轮 AI 跃迁,他没有停在观察者的位置——而是亲身下场,把整个公司变成 AI 原生组织的实验场,并做出了 CodeBanana 这个产品来承载这场实验。

    这次对谈里,围绕超级个体VS超级组织,他进行了深度的分享:

    超级个体的天花板

    他为什么认为超级个体被高估、超级组织被低估?

    改造一家旧公司

    出门问问 100 多人的团队,是怎么一步步变成 AI 超级组织的?

    CodeBanana 从何而来

    他说自己"没有管理能力",这个产品是为了解决他自己的问题而生的

    数字员工的未来

    超级组织的终点,是帮个人找到「我是谁」,还是帮组织找到「我们是谁」?

    对谈主持:余一(腾讯研究院高级研究员)× 袁晓辉(腾讯研究院副院长,资深专家)


    —— 01 ——

    金句洞察

    "AI 的产能是无限的,但所有瓶颈都在于人——你有没有能力指挥 AI,才是真正的超级个体门槛。"

    "真正强大的超级个体,是对这个世界有强烈想法、能设计一套游戏规则、并把它固化到系统里的系统设计师。"

    "超级个体再强,只要涉及两个人以上,很多能力就会被阉割,进入内耗,非常痛苦。"

    "我有一种感觉:未来大多数人,包括 CEO,某种程度上都是在配合 AI 干活。最初的想法和意图由 CEO 发起,但一旦系统运转起来,CEO 每天的工作也是被 AI 驱动的。"

    "今天的飞书、所有的协作系统都是由人驱动的;我们做的,已经有一些是人和 AI 共同驱动,而未来,AI 驱动可能会更加主流。"

    "真正的 AGI,不应该只是个体智能,应该是集体智能、群体智能——在一个组织环境下涌现出来的集体智慧。"

    "只要底层机制设计得足够灵活,就像复杂系统里说的「失控的边缘」,有自平衡机制,最终涌现出新的生态、新的文明、新的组织。"


    —— 02 ——

    关于李志飞

    李志飞

    出门问问创始人兼 CEO

    美国约翰斯·霍普金斯大学计算机科学博士,研究方向为统计机器翻译。毕业后加入 Google,参与 Google Translate 核心研发。2012 年回国创业,创立出门问问,先后在语音交互、智能穿戴、AI 配音、大语言模型等方向深耕超过十年。

    2024 年起,他开始系统研究「超级个体到超级组织」的命题,并亲手打造 CodeBanana——一个面向 AI 原生团队的人机协作平台,将人与 Agent 的沟通、任务执行、上下文管理整合在同一个系统中。


    —— 03 ——

    核心洞察

    01 · 超级个体的天花板在哪里

    2025 年 6 月,李志飞用 AI coding 三天写了几十万行代码,一个人做出一个 AI 版"飞书"原型——有群聊、能发消息、能拉群,以前二十个人两三个月做不出来的东西,一天出来了。那一刻,他毫无疑问是超级个体。

    但他很快意识到:AI 的产能是无限的,瓶颈全在人自身——你的想法有限,判断力有限,时间有限,意图也有限。超级个体再强,一旦涉及两个人以上,内耗就来了。他的判断是:超级个体被高估,超级组织被低估。

    02 · 未来超级个体的真正门槛

    超级个体的门槛在持续进化。今天真正稀缺的核心能力已经变了:不是"会用 Cursor",而是你有没有资格指挥 AI——绝大多数人听不懂 AI 在问什么,也不知道怎么做选择。

    过去的超级个体:能用 Cursor 端到端做出一个网站,懂数据库、懂部署。

    未来的超级个体:系统设计师——有强烈想法,能设计游戏规则,能把规则固化到 AI 系统里。

    03 · 出门问问是怎么改造的

    第一阶段(产研团队):强制产品经理用 Cursor,当时他们连 Git 是什么都不知道。到 2025 年底,整个产研团队(含产品经理和设计师)全部变成全栈超级个体——工程师没有前后端之分,产品经理可以自己部署 Feature。

    第二阶段(非产研团队):销售负责人自己写 CRM,KOL 同事做了带 Dashboard 的内容管理系统。目前非产研团队有 30-40% 达到超级个体状态。

    核心扩散机制:可见性。在 CodeBanana 里,你怎么指挥 Agent,群里所有人都能看到,互相学习。CEO 自己先做到,示范效应天然存在。

    04 · CodeBanana 从何而来

    2024 年,李志飞在湖畔商学院深度调研了 40 家企业,发现卖大米的、卖饺子的都赚钱,自己天天搞科技却赚不到钱。结论是:管理是一种真稀缺能力,而他没有,也不打算补——他想找另一条路。

    2025 年初,他开始研究 AI 组织化的可能性,逼自己变成超级个体。但很快撞到了现实:自己一个人能一天干完的事,十几个同事开会要规划一个月。

    CodeBanana 的起点,正是为了解决这个问题:做一个线上系统,让团队能实时看到 CEO 的所有过程,把权限给别人,让他处理你不擅长的部分。沟通与执行合二为一,任务在哪里发生,沟通就在哪里。

    05 · AI 时代的组织规模效应

    李志飞用美团和滴滴作类比:内部 2 万人设计规则,外面 1000 万外卖员是弹性资源。这种"内核小、外围弹性大"的模式,在知识型组织里是否可以复刻?

    他的设想是:未来出现这样一种公司——内部只有 200 人,却驱动着全球数万知识工作者,任务被原子化,上下文被完整传递,一个外部程序员花一小时解决问题,验收即走,就像送一次外卖。中国有 8000 万知识工作者,这是一个巨大的待颠覆市场。

    06 · 关于 AI 透明度与未来工作方式

    李志飞坚持让 AI 看到所有数据、看到全过程——不是为了监控,而是为了让 AI 真正高度赋能每个人。他对员工说的话很直接:"你一天 8 小时,6 小时摸鱼,我 OK——我现在不 OK 的是,我不知道你哪 6 小时在摸鱼。"

    他想象的未来工作形态:一周工作一两天,两小时把工作干完,不需要打卡,不需要表忠心——因为系统一清二楚地知道你干了什么。目标是:拿今天的工资,只需要干过去五分之一的活。


    —— 04 ——

    访谈摘录

    开场介绍

    余一:今天是我们 AI 跃迁者系列的第五期,我拉着晓辉博士一起来主持。最近,我和晓辉正在合作一项研究,主题是「从超级个体到超级团队」,下周大家可以期待报告全文。第五期我们特别邀请到了出门问问的 CEO 李志飞。他的组织不是从零开始,而是有很多自己的阵痛和创始人的亲身选择,我充满好奇。

    袁晓辉:欢迎志飞总。我们腾讯研究院持续观察 AI 对经济和社会的影响,对组织这块尤其感兴趣——AI 来了之后,组织形式正在重构。想问:超级团队还需要超级个体吗?超级个体之间又该如何有效互动?

    李志飞:大家好,我是李志飞,出门问问的创始人。在美国读 PhD 时研究机器翻译,后来在 Google 做 Google Translate;2012 年回国创业,从软件到硬件,再回到软件,也做过大模型。科技创业确实残酷,能喜欢做、能做到,不一定就能获得生态位。所以最近我花了大量时间研究一个问题:如何把超级个体的能力转化成组织的能力。 超级个体再强,只要涉及两个人以上,很多能力就会被阉割,进入内耗,非常痛苦。理念一定要有系统来承载,于是我们做了 CodeBanana。

    一、AI 跃迁十问

    余一:第一问:你现在每天和 AI 协作几个小时?最大的一块时间在做什么?

    李志飞:因为我自己用 CodeBanana,基本上从早上起床到睡觉前,80% 以上的时间都在这个系统上,保守估计每天 10 小时以上。开发布会之前有一个周末,我连续两天每天工作 10 小时,做了一个 60 页的宽屏发布会页面——每一页内容、文案,加上 20 多个产品视频,全部在 Markdown 里定好,同事熬一个晚上就做出来了。我最大的问题是手——一直拿着手机,手已经弯不了了,最近在刻意练手指(笑)。

    余一:第二问:因为 AI 彻底改变的一个习惯是什么?

    李志飞:就是「AI First」。要跟人打电话之前,往往会先停下来想:我有没有必要打这个电话?很多时候会先和 AI 讨论,或者直接让 AI 基于截屏做一个可交互的 HTML 原型,再发给产品经理。给员工发消息,基本都是先经过 AI 加工再发出去——某种意义上,人 A 的消息不会直接到达人 B,而是先经过 AI 处理。

    余一:第三问:你现在的 Token 月消耗量大概是多少?

    李志飞:现在大概不到 1000 美金一个月。去年高峰期是每天 300 美金,我当时对公司的要求是完全不计成本——我自己用最贵的,所有人也用最贵的。高峰期团队人均大概 2000 美金一个月,方差非常大。

    余一:第四问:作为创始人,AI 时代你觉得必须重新思考的一个问题是什么?

    李志飞:两个问题,一个对内、一个对外。对内:人和 Agent 是什么关系?什么样的人应该留在公司?对外:我最近有一个「So what」的问题——先是让大家把 AI 用起来,再用好,但用好之后呢?当所有人都高效使用 AI 之后,在充分竞争的生态里,你的企业是否仍然有自己的生态位?

    余一:第五问:AI 让你对组织、业务和产品做的最大的一个改变是什么?

    李志飞:工作流的变化。以前是线性工作流:老板有需求,产品经理调研,设计师出交互稿,前后端开发,再测试。今天可以是原型工作流——开个会,把会议文档扔给 AI,直接让它出原型。这种变化对组织的影响:不需要那么多人,每个人都应该变成全栈;组织结构应该极度扁平——管理层要么能做战略设计,要么能在一线干活。

    余一:你心目中 9 分以上的组织长什么样?

    李志飞:一个人能产生 100 个人的产能,处于正反馈循环中,速度非常快,满足感极强。但超级组织是集体行为——所有人在同一个 AI 上下文空间里共同构建。刚开始完全体会不到,全是摩擦——就像一个人住宿舍很爽,但一旦有了四个室友,摩擦就大了。但过了一段时间,你会发现集体生活如果磨合好了,其实是非常好的体验。

    二、超级个体与超级组织

    袁晓辉:您说超级个体的价值被高估,高估在哪里?

    李志飞:我来说说我的亲身经历。去年 6 月,我一个人可以设计前端、后端、算法、UI 交互,三天内写了几十万行代码,做了一个 AI 版的"飞书"。那时候我毫无疑问是超级个体。但做了一段时间之后,第一,个人真的很累;第二,我的组织完全跟不上。你想要什么,AI 就给你什么,但关键是——你想要什么是你来决定的。 你要做判断,你的时间有限,思考能力有限,判断能力有限,甚至你的意图都是有限的。所以 AI 的产能是无限的,但所有瓶颈都在于人。

    袁晓辉:能聊聊出门问问这家公司的愿景吗?

    李志飞:我们 2012 年创业的使命是「定义下一代的人机交互」。今天做的事情,本质上还是跟那个愿景相关:人跟 AI 到底怎么协作,怎么交互。

    袁晓辉:飞书、企业微信、CodeBanana——会是什么样的走向?

    李志飞:企业里有两大类工作,一类是管理沟通,一类是任务执行。过去这两类工具是割裂的。CodeBanana 做的不一样:沟通与执行合二为一,任务在哪里发生,沟通就在哪里。 而且在我们这里,AI 是主力。未来很难区分到底是人在驱动 AI,还是 AI 在驱动人——这就是方向。

    三、超级个体:可以批量培养吗?

    余一:超级个体有没有办法被批量创造,或者被加速?

    李志飞:超级个体的门槛在不断降低,可以培养,只是每个阶段的定义会有很大变化。真正的核心变成了:你有没有资格指挥 AI? 坦白说,今天绝大多数人没有这个能力,因为他们根本听不懂 AI 在问什么,也不知道怎么做选择。

    真正强大的超级个体,是系统设计师——对这个世界有强烈的想法,有清晰的意图,能设计一套游戏规则,并把它固化到一个系统里。指挥 AI 的能力、设计 AI 系统的能力、和 AI 对齐的能力,这些可能比其他一切都更重要。

    四、超级组织的规模效应

    袁晓辉:AI 时代规模效应还会出现在哪里?

    李志飞:未来组织的规模,不是纯粹意义上的人的规模。美团的组织边界是什么?内部可能有 2 万人设计系统和游戏规则,外面的 1000 万外卖员是弹性的。移动互联网 Empower 了这种弹性组织:内核小,外围弹性大。

    未来可能会出现这样一种公司:内部只有 200 人,但驱动着全球数万知识工作者——他们的工作被原子化,每次任务上下文被完整传递,一个外部程序员花一小时解决问题,验收通过就走,就像送一次外卖一样。中国有 8000 万知识工作者,传统的律师事务所、医院、学校,这些知识类机构未来都可能发生巨变。

    五、超级个体与组织的摩擦

    余一:超级个体的生产力越强,反而会越撕裂组织。您那段孤独或者痛苦的时刻过去了吗?

    李志飞:没有完全过去。我现在经常跟团队说——虽然我忍着没说出口——「我有这个时间跟你们开两次会,可能我自己半小时就干完了」。超级个体在组织里,总觉得别人很笨、很拖累自己——不明白为什么要写文档、走审批。这种个人英雄主义越强,在组织里就越不适应。

    但我今天仍然坚信组织是不可避免的。超级组织是要延迟满足感的。 今天的状态比去年 6 月更好——那时候很爽,但也很慌,天天坐在电脑前,身体状态不好。而今天,我不用去处理我不感兴趣的细节,只需要实现我的意图。现在让我选择,我不愿意回到去年 6 月的状态。

    六、如何打造超级组织环境

    余一:出门问问除了你,还有其他超级个体吗?你们的组织是如何激励和留住这些超级个体的?

    李志飞:在我们公司,一个人干的活是以前的 5 到 10 倍,就算超级个体。工程师全部是全栈的——没有前端、后端、测试这种分工。非产研团队里,销售负责人自己写了 CRM,做 KOL 的同事做了带 Dashboard 的内容管理系统。目前非产研团队有 30%~40% 的人达到了这个状态。

    怎么打造这个环境?说直接点——威逼利诱,更多是威逼。有系统、有示范、能帮他们建立自信心——这些是让组织变化的必要条件。 在 CodeBanana 里,你怎么指挥 Agent,群里所有人都能看到,可以互相学习——这是最重要的扩散机制。

    七、为什么做 CodeBanana

    余一:做 CodeBanana 之前,你在想什么?

    李志飞:中国大多数科技创业公司都不赚钱,原因是人力成本太高、组织效率极低。2024 年在湖畔商学院,我参加了大概 40 家企业的深度研究,每家花两天时间。一直在琢磨:卖大米的、卖饺子的都赚钱,我天天搞科技为什么一分钱赚不到?

    最终结论是:管理是一种真稀缺能力。我没有这个能力,也不喜欢传统的组织规模化方式。 所以我在想,如果 AI 成为公司最主要的执行力,组织能不能自动化起来?我一直对自动化有一种执念——因为人不是自动化流程里的一个环节,各种人的因素让我很难处理。

    2025 年初,先逼自己变成超级个体。去年五六月的 Cursor,哪怕我是程序员,也被它折磨得要死,但我给自己设了一个使命:3 天之内必须搞定。到当天晚上,我就获得了正反馈——一天之内搭出一个有群聊、能发消息、能拉群的系统原型。以前两三个月、二十个人都搞不出来的东西,一天出来了。

    但后来变成了另一个问题:我有包袱,带着一家公司,不能一个人迈向新世界。有一次,我一边在 Coding,一边拨入了飞书会议,听他们讲产品时间规划——全部以月为单位,十几个人在那开会,规划的是一个月以后的事情。而我明明觉得,这件事我可能一天就做完了。

    "我觉得很绝望。但我又不能不解决这个问题,所以我开始做 CodeBanana。"

    于是做了一个线上系统,让团队能实时看到我的所有过程,把权限给别人,让他处理我不擅长的部分。整个产品的起点,就是为了解决我的能力边界问题、我的兴趣边界问题、我的时间边界问题,并且能和团队借力。 做着做着,就越来越有意思。

    八、数字员工的未来:个体与集体的边界

    余一:我们让出门问问的数字员工「Agent CB」和我的数字分身「AI 01」做了一次对谈。CB 给志飞总留了一个问题:「超级组织的终点,是帮每一个人找到『我是谁』,还是帮组织找到『我们是谁』?这两件事可以同时发生吗?」

    李志飞:可以同时发生。一个有价值的生态系统,一定是成就个人,也成就集体。我不排斥你有个人的书房——你的项目可以不把别人拉进来,这完全没问题。我排斥的是:书房里只有你自己,没有 AI。

    我坚持让 AI 看到所有数据、看到全过程。我甚至经常跟员工说:你一天 8 小时,6 小时摸鱼,我 OK——我现在不 OK 的是,我不知道你哪 6 小时在摸鱼。人本来就不应该这么高强度地工作。未来可能就是:一周工作一两天,拿着手机在路上,两小时把工作干完,不需要表忠心,因为系统一清二楚地知道你干了什么。

    李志飞:我非常赞同。我追求极致透明、极度分享的价值观。

    九、观众提问

    问:硬件开发和软件不一样,天然受物理世界的客观条件限制,怎么才能加速?

    李志飞:硬件确实很多东西不能用 Agent 替代,比如电路板设计、结构设计。但我相信这只是时间问题,背后有巨大的商业利益驱动。已经有团队在专门做电路板设计、机械结构设计的模型了,这个领域迟早会迎来突破。


    "真正的 AGI,不应该只是个体智能,应该是集体智能——在一个组织环境下涌现出来的集体智慧。超级个体到超级组织,这一步是必须走的。"

    —— 李志飞,2026.05.22

    了解 CodeBanana · 体验 AI 超级组织

    关注CodeBanana公众号,获取更多 AI 组织化实践案例

    跳转微信打开

    当 AI 产品卷向同质化,支付成为最后的增长杠杆

    2026年5月27日 14:02

    原创 StartupBoy 2026-05-27 14:02 四川

    用户愿意付钱只是0到1,但从"付了钱"到"收到钱"之间,还有一条被大多数AI公司忽略的商业化暗线

    本文由投资实习所 x Payinsider 联合出品,Payinsider 是一家专注于全球支付基础设施的平台,帮助出海企业优化支付成功率与变现效率。

    过去一年,写作、翻译、客服、代码、知识管理、工作流自动化……大量垂直场景被 AI 重新做了一遍。不只是有人用,而是有人付费、有人续费、有人形成订阅习惯。

    AI 应用的商业化,已经不是「刚刚起步」的阶段了。在很多垂直场景里,头部效应已经形成——先发者的产品开始拉开差距,后来者的窗口期在收窄。

    当竞争进入这个阶段,大家在产品、获客、定价上能做的差异化越来越小。一个过去很少被放到牌桌上讨论的变量,正在浮出水面:支付。

    问题不止停留在「能不能收到钱」,而是到了「同样 100 个愿意付费的用户,你最终能把多少笔交易变成真金白银到账」的阶段。

    数字上的差异,可能直接决定了两家产品之间的 LTV 差距、续费率差距,甚至是融资叙事里的营收质量差距。

    我和 Payinsider 一起做了个选题,他们每天在全球支付链路里帮出海企业解决真实的收款问题。我们发现,很多 AI 团队在产品和增长上已经非常成熟,但在支付这个环节上,认知和投入都还没有跟上。

    这篇文章,主要从投资和商业化的角度看支付为什么重要,从支付基础设施的角度看 AI 公司的全球化变现还有哪些空间。

    01 AI 公司的订阅支付复杂度,比所有人预想的都来得早

    和传统游戏公司、电商公司不同,AI 产品有一个非常独特的特征:它们从 Day 1 就是全球化的。

    一个做 AI 写作助手的团队,产品上线第一天,用户可能就分布在北美、欧洲、东南亚、拉美。传统公司可能花三五年才会碰到的多币种结算、本地支付方式接入、跨境收单合规等问题,AI公司在非常早期就被迫面对。

    但大多数早期 AI 团队,支付架构的投入远远落后于产品和增长。很多团队的做法是接一个 Stripe,或者用一个全球支付服务商先用着,等规模上来再说。

    问题是,当规模真正上来的时候,支付链路上积累的损耗已经不是小数字了。

    Payinsider 在服务出海客户的过程中反复看到一个现象:一家产品做得很好的 AI 公司,北美市场的支付成功率可以到90% 以上,但同一套支付放到拉美或东南亚,成功率会变低。

    这种差距和产品本身无关,而是支付链路本身没有为这些市场做过适配。

    对于一次性交易的公司来说,一次支付失败损失的是这一笔订单本身。对于订阅模式的公司来说首次订阅(first subscription payment)失败,损失的是:首次订阅收入 + 未来整个消费者生命周期内可预期的 recurring revenue。

    02 每一笔「没收到的钱」,都是花出去的获客成本

    增长团队通常关心的是漏斗前半段——怎么获客、怎么激活、怎么让用户点下订阅按钮。

    但很少有人认真算过:用户点完「Subscribe」之后,有多少笔交易其实没有成功?

    支付失败不是一个笼统的结果,它发生在链路的不同位置,对应的原因和解法完全不同:

    一、用户还没走到付款那一步,就流失了。页面上只有信用卡选项,但用户习惯用本地钱包;结账页没有本地化,币种、语言都不对;移动端输入体验差,表单太长——这些看起来是产品问题,但本质上是支付体验问题。用户不是不想付,是付不了。

    二、交易发起了,但没有到达发卡行。支付网关超时、通道异常、路由配置有误——这一层的问题往往隐藏在技术日志里,错误码只能告诉你「出了问题」,但很少能告诉你「为什么」。

    三、交易到达了发卡行,但被拒绝了。余额不足、卡片过期这些原因比较明确。但还有一大类拒绝和交易的路径有关:同一笔交易走不同的收单通道、不同的MCC编码、不同的地区路径,发卡行给出的判断可能完全不一样。对于AI工具和订阅服务来说,交易类型标记、首笔与续费的识别方式,都可能触发风控。

    这三层损耗叠加起来,就是你支付后台显示的那个成功率数字。它可能是76%,也可能是90%。但这个数字本身不能告诉你问题在哪、该怎么修。

    这也是 Payinsider 做支付诊断时的核心逻辑——不是看一个总成功率,而是把损耗拆到每一层,定位到具体的市场、支付方式、失败原因码,然后才能给出有针对性的优化方案。

    03 对于订阅模式来说,支付不是一个功能模块,是一套经常性收入的商业化基础设施(global monetization infrastructure)

    大多数团队想到「优化支付」,第一反应是多接几个支付方式,或者换一个支付服务商。这不能说错,但它只是一个点状动作,不是系统性解法。

    真正的支付优化,起点是诊断:是哪个市场的成功率低?是哪种支付方式在流失?失败集中在哪一层?哪些失败有重试空间,哪些是硬拒绝?

    只有问题被定义到这个颗粒度,后面的动作才有意义。

    更重要的是,支付的指标不是孤立存在的——它会乘进 LTV、影响订阅留存率、决定营销投放的真实 ROI。一个支付成功率差 5~20 个点的产品,和竞品之间的营收差距会随着用户规模放大而指数级拉开。

    这也是为什么我们认为,未来 AI 和 SaaS 公司真正需要的,不只是支付处理(payment processing),而是一整套全球变现基础设施(global monetization infrastructure for recurring revenue)。

    它应该包括全球收单能力、本地支付方式覆盖、智能路由和重试机制、非自愿流失(involuntary churn)、订阅恢复(subscription recovery)、合规与风控适配,以及续费整个生命周期的 recurring revenue,等等。这些能力组合在一起,才构成一个能支撑全球化变现的基础设施最终实现全链路收入增长。

    04 当前全球支付基础设施格局

    事实上,全球支付基础设施赛道已经形成了明确的头部格局。很多 AI 和 SaaS 创业者的支付世界,可能是从 Stripe 开始的,但 Stripe 只是全球支付基础设施中的一层。

    Stripe 在 2024 年处理了超过 1.4 万亿美元的交易额,Adyen 处理了约 1.35 万亿美元,而与 Global Payments 合并后的 Worldpay 年交易处理规模已达到约 4 万亿美元级别。紧随其后的 Checkout.com 在 2025 年处理量突破 3000 亿美元,同比增长 64%。与此同时,还有像 Fiserv(First Data),JP Morgan,以及 dLocal、EBANX、Xendit、PayU 等深耕区域市场的玩家,共同构成了今天复杂的全球支付网络。

    但这些玩家之间的竞争,从来不只是「谁接的支付方式更多」。

    Stripe 以极致的开发者体验(Developer Experience)和快速集成能力见长,成为大量 AI 与 SaaS 公司 Day 1 的默认选择,尤其适合快速验证 PMF 和全球启动。

    Adyen 的优势则不仅在于其欧洲本地收单能力,更重要的是其长期深耕零售(Retail)与 O2O 场景,通过统一的支付基础设施真正打通线上与线下体验——从 POS、会员、库存到支付数据形成无缝连接,逐渐成为大型零售品牌的默认支付基础设施 Operating System。

    Checkout.com 则在高性能收单之外,也在中东等高增长市场建立了较强的本地 acquiring 能力,在 MENA 地区的大型数字商户中拥有较深积累。

    而Worldpay 这样的全球支付基础设施公司,则更深地嵌入全球银行体系、收单网络与资金清算体系之中。凭借长期服务 enterprise 商户与复杂支付场景的积累,Worldpay 不仅拥有庞大的全球支付基础设施能力,也正在积极探索 AI-native commerce 的下一代支付形态,包括稳定币支付(Stablecoin Settlement)以及与 OpenAI 共同探索 Agentic Commerce 等方向。

    与此同时,在拉美、东南亚、中东、非洲等新兴市场,本地支付生态的复杂性往往更高。像 dLocal、EBANX、Xendit 这样的区域型玩家,经过多年时间建立本地收单、银行合作、支付方式覆盖以及合规能力,逐渐形成了各自市场的基础设施优势。

    真正考验一家全球支付公司的,从来不只是技术接口,而是它是否拥有长期建设出来的各个国家和地区的本地金融基础设施能力——包括金融牌照、本地收单、银行网络、清算能力、风险控制、合规体系,以及对不同国家消费者支付行为的理解。

    而这些能力,往往需要 5 到 10 年,甚至更久的时间才能真正建立。

    对于正在搭建全球支付架构的 AI 和 SaaS 公司来说,理解这个格局,不是为了选边站,而是为了理解一件事:支付基础设施的深度,正在成为全球化变现效率的底层变量。

    而这恰恰是 Payinsider 在做的事情:帮助出海企业在这个复杂格局中,搭建适合自身业务的支付架构,而不是简单地「接入一个支付服务商」就结束。

    “当 AI 产品同质化严重,支付可以成为差异化竞争优势”

    AI 用两三年的时间,走完了互联网时代十年的路。

    产品快速迭代、用户快速迁移、竞争格局快速固化。当获客成本越来越高、产品功能越来越同质化的时候,能在变现环节多收回哪怕几个百分点,就是实打实的竞争壁垒。

    支付优化不是一个「锦上添花」的事,它是商业化效率的底层。同样的流量、同样的付费意愿,谁的支付链路转化率更高,谁的单位经济模型就更健康,谁就有更多的资源投入下一轮增长。

    我们看到越来越多的 AI 团队开始把支付链路当成一套独立的商业化基础设施来运营,而不只是一个后台功能。这个趋势值得被更多创始人和投资人关注。

    后续还会围绕 AI 时代的定价模式变化、Agentic Payment、Stablecoin、按效果计费等 AI 基础设施方向,持续做更多洞察和分析。

    阅读原文

    跳转微信打开

    我们如何用 A2UI + Vue,让大模型长出“可交互界面”

    2026年5月27日 12:00

    原创 大前端 2026-05-27 12:00 上海

    本文围绕一个核心问题展开:如何让AI助手从“输出文字”进化到“生成界面”?

    导读

    本文围绕一个核心问题展开:如何让AI助手从“输出文字”进化到“生成界面”?我们基于Google A2UI协议,自研了Vue渲染器和 Agent 完整工具链,形成了一套完整的生成式UI体系。文章将详细阐述Runtime Schema装配、双重校验机制、SSE双通道输出、Wrapper组件扩展等关键设计,为构建标准化、可复用的AI交互界面提供参考。

    引言

    在 B 站商业广告业务中,我们开发了统一的 AI 助手框架,创建不同业务的知识库,以 markdown 渲染的形式输出内容,实现了不同业务中 AI 助手的快速应用。

    但是,随着时间的推移和 AI 在业务中的快速应用,当大模型的能力从“聊天”走向“办事”时,如何让 AI 稳定、可靠地生成真正的“可交互界面”,提高信息传达和交互的效率,成为越来越多公司和业务关注的方向,从而带来了大模型生成 UI 的发展趋势。

    关于这一点,我们内部的 AI 助手框架已经支持在 Markdown 中通过自定义语法嵌入组件,例如 ::: ProductCard :::,具有直观、轻量的特点,能在对话流中快速引入可交互元素。但在多业务、复杂任务的规模化落地中,它的局限性逐渐显现,例如前端、后端、Agent 耦合严重,需要 Agent 严格配合前端的特定格式来填充内容。这种方案的本质是 Agent 按前端预定义的模板填充数据,而非让 Agent 自主描述 UI 结构,不符合生成式 UI 的核心思想。

    如何快速和我们的 AI 助手框架结合,形成完整的生成式 UI 体系?

    在探索这个问题的过程中,我们发现这不是一个单纯的前端渲染问题,而是一个涉及大模型生成、协议标准、后端校验、前端渲染、多业务治理的系统工程。基于此,本文将完整拆解我们的实践路径。

    一、B站商业广告的 AI 助手框架

    在展开生成式UI的方案之前,有必要先回顾一下我们的起点。

    1.1 统一 AI 助手框架

    在B站商业广告业务中,我们面对的是多个差异化的业务场景:

    • 广告投放助手:帮助广告主理解投放数据、优化投放策略

    • 产品帮助助手:介绍广告产品功能、引导操作流程

    • 数据分析助手:生成广告数据报表、提供洞察分析

    为了快速响应各业务场景的AI需求,我们构建了统一的 AI 助手框架:

    • 统一前端框架:标准化的对话接口、视觉样式,业务方只需实现对应的接口,并按需实现自定义功能

    • Markdown 渲染:前端统一支持Markdown格式输出,快速实现内容呈现

    1.2 从“可读”到“可交互”的需求演进

    随着业务深入,纯文本/Markdown的局限性开始显现:

    场景一:广告投放诊断

    • 用户问:“帮我看看最近三天某计划的投放效果?”

    • AI返回一段文字描述:“曝光量xx,点击率xx%,消耗xx元,建议优化素材...”

    • 用户需要:一个包含关键指标卡片、趋势图表

    场景二:意图识别

    • 用户问:“我要下单,目标是xxx...”

    • AI返回:“您提供的缺少xxx参数...请您补充参数重新告知我下单。”

    • 用户需要:一个结构化表单,可以直接在对话中修改并重新提交

    这些场景的共同需求是:从“告诉用户怎么做”升级为“让用户在对话中直接完成操作”,这就引出了生成式UI的核心命题。

    我们固然可以使用模板填充的方式:

      ::: ProductCard {"name":"手机","id":1}
      :::

      这种方案可以快速实现大部分简单场景——前端预定义好各类卡片组件,Agent按约定格式输出,前端匹配渲染。

      它的优势很明显:

      • 实现简单,短期内快速上线

      • 卡片样式可控,符合设计规范

      • 适合场景固定、UI形态稳定的业务

      但随着场景复杂化,其局限性也逐渐暴露:

      本质问题:模板填充方案让Agent扮演的是“填表员”角色,而非“设计师”角色,Agent无法根据上下文动态决定UI形态。

      二、生成式 UI 的思路

      2.1 为什么选择 A2UI

      在协议选型上,我们调研了多种方案,最终选择 Google 的 A2UI 协议,原因如下:

      • 标准化:大厂提出,业界规范,有社区支持,避免自研协议的技术债务

      • 声明式:JSON Schema 描述UI,天然适合大模型生成

      • 可增量:支持 dataModelUpdate / surfaceUpdate,实现细粒度更新

      • 框架无关:同一份 UI 描述可在 Vue / React / 小程序等多端渲染

      • 安全可控:组件基于组件库白名单,Agent 自由选择,客户端负责渲染

      2.2 整体架构

      三、后端 + Agent 设计

      3.1 请求入参设置

      每个业务请求需要携带能力边界声明:

      3.2 Runtime Schema 装配

      根据业务标识和白名单,动态装配该业务可用的组件和动作集合。

      装配流程举例:

      这样设计的价值在于,一是能力隔离,不同业务在统一协议下安全、独立地演进;二是动态扩展,新增业务只需要补充组件包,不改核心逻辑;三是输出可控,白名单机制限制了模型输出的边界。

      3.3 双重校验机制

      尽管我们通过能力隔离,已经生成了安全的 Prompt,但是由于模型输出可能不稳定,因此针对大模型产出的 A2UI JSON,必须经过严格校验才可放行。我们设计了双层校验机制:

      第一层:结构校验

      • 消息类型是否合法,符合 A2UI 协议结构(beginRendering / surfaceUpdate / dataModelUpdate)

      • 组件类型是否在白名单

      • 组件属性是否完整

      • 动作名称是否在白名单

      第二层:过渡校验

      Surface 是 A2UI 中一个独立的 UI 实例载体,每个 Surface 有唯一的 surfaceId,代表一个独立的界面区域,具备从“未创建”→“已创建”→“可交互”的状态转换。我们需要确保这个过程合法有序,避免出现更新不存在的界面、重复初始化等异常。为此,我们维护了每个 Surface 的状态机:

      校验规则:

      • 不能更新未创建的 Surface

      • 对于同一个 Surface,不能重复产出 beginRendering

      • 更新时 SurfaceId 必须匹配当前会话

      3.4 SSE 双通道输出

      传统方案中,前端需要从文本流中正则匹配和解析JSON,链路脆弱。我们将文本流和结构化数据分离,两条通道独立传输,互不影响。若 a2ui_message 通道出现数据丢失,前端可依据 message_stream 中的文本内容降级展示,或通过 finish 事件中的完整消息进行重试补发,确保 UI 渲染的可靠性。

      四、前端通用渲染器 SDK

      4.1 整体结构

      我们基于 Google 官方开源的 A2UI 协议、React 渲染器等,自研实现了 Vue 渲染器,以 npm 包的形式交付,业务方安装即可使用:

      4.2 消息处理器

      我们实现了消息处理器,为同一个 Surface 的每条 A2UI JSON 消息生成唯一签名。已处理过的消息会被识别并跳过,不再重复执行,保证逻辑的幂等性。另外,由于网络传输延迟、历史会话回放等场景,消息可能出现乱序或倒序到达,我们也设计了相应的处理机制。极端情况下,有极小概率会出现个别消息丢失,但仅会导致 Surface 的 UI 状态短暂不一致(比如,没有回显已经填写过的字段),不会引发严重渲染问题。

      消息处理器链路如下:

      4.3 DataModel 设计

      统一状态存储,支持 path 级别读写和数据绑定:

        DataModel结构示例:
        {
          "/form/name": "张三",
          "/form/email": "zhang@example.com",
          "/cart/items": [{"id": 1, "name": "商品A"}],
          "/ui/loading": false
        }

        组件通过path引用数据,任一数据变化,所有绑定组件自动更新。

        4.4 Wrapper 组件体系

        业务方新增自定义组件时,只需遵循统一规范,无需理解渲染器内部逻辑。

        接入流程:

        • 编写业务组件(普通Vue组件)

        • 使用 SDK 提供的 Wrapper 组合函数包装

        • 注册到组件映射表(组件类型名 → 业务组件)

        • Agent 即可使用

        Wrapper提供的能力:

        • 自动解析 node 中的属性

        • 自动绑定 DataModel 数据(通过 path 引用)

        • 自动构建动作回调函数

        • 统一处理 loading、error 等通用状态

        4.5 动作闭环

        组件提交的 action,分为前端处理和后端处理,业务方可自定义 action 处理方法,SDK 提供的默认有以下2类:

        前端处理的事件比较简单。对于后端处理的事件,会经历以下流程:

        • 用户交互触发动作

        • 动作冒泡到业务层

        • 业务层通过HTTP接口回传后端

        • 后端返回dataModelUpdate或surfaceUpdate

        • 前端执行增量刷新(原位更新)

        这样,我们便实现了从 Agent 到前端 SDK 的、可复用的完整链路。

        五、与现有框架的集成

        我们并非将现有业务中已经实现的 AI 助手推倒重来,而是进行了扩展。Agent 返回的 finish 事件中,包含了 SDK 提供的标准组件 A2UIMessage.vue,业务方可直接将其作为模板组件使用:

          ::: a2ui-message {"message": [...]}
          :::

          业务方的接入成本也非常小,只需要三步:

          • 前端实现业务组件,并接入 SDK

          • 前端注册组件包

          • 业务方后端或者业务方 Agent 调用接口,生成 A2UI 消息

          至此,我们完整阐述说明了 A2UI 实践的完整框架和流程。可以看到,它具备以下价值:

          对业务方:

          • 无需关心UI实现,聚焦业务逻辑

          • 新场景接入周期从天级缩短到小时级

          对 Agent:

          • 从“记忆数据格式”转向“理解UI描述语言”

          • 具备真正的“界面生成”能力

          对整体架构:

          • 前后端解耦,协议标准化

          • 多业务可复用同一套基础设施

          六、DEMO 示例

          我们已经实现了完整的可复用工具链,以下是一些 demo,展示了从用户输入 Prompt 到产出组件的过程。实际使用中,由业务方的后端或者 Agent 调用 A2UI 的 Agent 服务获取真实的 A2UI JSON,再交给业务方的前端渲染。

          注意:以下为简化示例,实际 JSON 结构以 A2UI 协议为准。

          6.1 图表示例

          • 用户在对话框中输入:“我想查看最近12个月某5个车企(化名)的销量变化趋势图”

          • Agent 生成 A2UI JSON:

            {
              "sessionId": "session-xxx",
              "messages": [
                { "createSurface": { "surfaceId": "surface-xxx" } },
                {
                  "updateComponents": {
                    "surfaceId": "surface-xxx",
                    "components": [
                      { "id": "root", "component": "Card", "child": "chart-container" },
                      {
                        "id": "sales-chart",
                        "component": "Charts",
                        "type": "line",
                        "title": "近12个月车企销量趋势",
                        "options": {
                          "xAxis": { "data": ["1月", "2月", ...] },
                          "series": [
                            { "name": "车企A", "data": [12500, 13200, ...] },
                            { "name": "车企B", "data": [10200, 10800, ...] },
                            ...
                          ]
                        }
                      }
                    ]
                  }
                }
              ]
            }

            • 渲染结果:

            6.2 表单示例

            • 用户在对话框中输入:“生成一个用户报名信息的填写表单”

            • Agent 生成 A2UI JSON:

              {
                "sessionId": "session-xxx",
                "messages": [
                  { "createSurface": { "surfaceId": "surface-xxx", "root": "root" } },
                  { "updateDataModel": { "surfaceId": "surface-xxx", "value": { "userName": "", "userEmail": "", "userPhone": "" } } },
                  {
                    "updateComponents": {
                      "surfaceId": "surface-xxx",
                      "components": [
                        { "id": "root", "component": "Card", "child": "form-column" },
                        { "id": "form-column", "component": "Column", "children": ["title-text", "name-field", "email-field", "phone-field", "submit-btn"] },
                        { "id": "title-text", "component": "Text", "text": "用户报名信息填写" },
                        { "id": "name-field", "component": "TextField", "label": "姓名", "placeholder": "请输入姓名" },
                        { "id": "email-field", "component": "TextField", "label": "邮箱", "placeholder": "请输入邮箱" },
                        { "id": "phone-field", "component": "TextField", "label": "手机号", "placeholder": "请输入手机号" },
                        { "id": "submit-btn", "component": "Button", "text": "提交报名", "action": { "name": "marketing.submitLead" } }
                      ]
                    }
                  }
                ]
              }

              • 渲染结果:

              • 用户填写并点击提交后,前端将表单数据回传至后端:

                // 发送消息示例:后端读取注释中的数据作为结果
                用户提交了数据<!-- {"action":"marketing.submitLead","data":{"userName":"小明","userEmail":"aaa@bbb.com","userPhone":"12345612345"}} -->

                • 后端处理完成后,再次调用 A2UI 服务,返回更新界面的指令:

                  {
                    "sessionId": "session-xxx",
                    "messages": [
                      { "updateDataModel": { "surfaceId": "surface-xxx", "value": {} } },
                      {
                        "updateComponents": {
                          "surfaceId": "surface-xxx",
                          "components": [
                            { "id": "success-icon", "component": "Text", "text": "✓" },
                            { "id": "title-text", "component": "Text", "text": "报名成功" },
                            { "id": "message-text", "component": "Text", "text": "感谢您的报名,我们会尽快与您联系。" },
                            { "id": "form-column", "component": "Column", "children": ["success-icon", "title-text", "message-text"] }
                          ]
                        }
                      }
                    ]
                  }

                  • 前端接收消息,并处理 UI 更新:

                  七、总结

                  目前,我们的 A2UI 方案已在部分业务中接入,正在快速迭代中。由于 A2UI 协议仍处于早期阶段,大模型能力也在持续演进,尚无法支持全部复杂组件的自主生成。因此,我们目前采用 A2UI 实现通用交互、业务自行实现复杂组件的混合模式。

                  但可以预见,随着协议和大模型能力的成熟,生成式 UI 必将释放更强大的能力和更丰富的应用场景。接下来,我们将继续探索 A2UI 在移动端、小程序等架构上的应用,期待在不远的未来做出更优质的成果。

                  -End-

                  作者丨Nie

                  跳转微信打开

                  MiMo-V2.5 系列调价公告丨 百万亿 Token 创造者激励计划收官

                  2026年5月27日 00:15

                  原创 小米大模型 2026-05-27 00:15 北京

                  API 价格最高降 99%,不区分输入长度

                  过往几个月,我们通过 MiMo Orbit、百万亿 Token 创造者激励计划等活动,让更多人有机会体验 MiMo ,并解决真实的问题——这是 MiMo 在规模化应用道路上的第一步。

                  而现在,随着底层技术的不断精进,我们终于可以做一件更彻底的事——对整个模型价格体系进行一次永久性翻新。

                  本次公告核心速览:

                  • MiMo-V2.5 系列 API 永久降价

                  • Token Plan 计费体系优化,用量提升至原来的 5-8 倍

                  • 百万亿 Token 创造者激励计划圆满收官

                  • 当前有效 Token Plan 用户额度全量重置

                  生效时间:北京时间 2026 年 5月 27日 0 点

                   MiMo-V2.5系列API永久降价

                  相比原始 API 定价,新定价最高降幅可达 99%,且不再区分上下文窗口长度。

                  本次调价于北京时间 5 月 27 日 0:00 正式生效,全球同步调整,诚邀各位开发者接入体验。

                   TokenPlan 计费体系优化

                  • 加量不加价,用量提升至原5-8倍,为您解锁更充沛的生产力

                    • 示例:在Agent或Code场景下,可用 Token数量为:

                  • 计费规则调整,更加清晰易懂,所见即所得。

                   百万亿 Token创造者激励计划圆满收官

                  「百万亿 Token 创造者激励计划」自 4 月 28 日上线以来,受到全球用户的热情追捧和广泛关注,截至北京时间 5 月 26 日 16:08,100T Tokens 已全部提前发放完毕,活动提前收官、圆满结束,感谢广大开发者的踊跃参与! 

                  注:Apache 软件基金会成员专属福利活动长期有效、可继续申请,不受本次收官影响。

                   惊喜:现有 TokenPlan 用户额度全量重置

                  无论当前套餐用量如何,所有已订阅 Token Plan 且当前仍在有效期的用户(包括参与百万亿 Token 创造者激励计划并获得 Token Plan 的用户,涵盖 Apache 软件基金会专属福利用户)的 Credits 额度将于北京时间 5 月 27 日 0:00 全量重置,并按新计费规则执行。

                  One More Thing:针对 Token Plan 已过期的历史付费用户,我们也同样准备了惊喜好礼,将在未来一周宣布,请保持关注。

                   推理技术优化说明

                  本次价格调整背后,离不开小米技术团队在推理系统上的持续优化。

                  我们基于 SGLang HiCache 完整支持 SWA(Sliding Window Attention),将 KV Cache 在 GPU 显存、CPU 内存、SSD 等多级存储之间的数据搬运量降低至优化前的近 1/7,并将可缓存 token 数量提升至优化前的近 5 倍,显著提升了缓存命中率和推理效率。

                  同时,我们通过优化专家并行方案、输入长度分桶策略等,进一步提升了集群输入吞吐能力,从而在保障服务质量的前提下持续降低单位 token 服务成本。

                  后续我们将发布更加详细的推理优化技术 Blog,敬请期待。

                   结语

                  技术的价值,最终要体现在被使用的广度上。

                  依靠技术的持续创新,我们希望通过提供兼具低成本与顶尖能力的模型服务,撬动真实、持续、规模化的推理需求,推动完整 AI 基础设施链条的建设。

                  让更多的人能用到更好的模型——这是 MiMo 不变的使命。

                  跳转微信打开

                  如何在 AI 辅助开发中落地有效的评审关卡(Review Gates)

                  2026年5月26日 11:30

                  原创 Vineet Desai 2026-05-26 11:30 北京

                  AI 编码助手可以显著提升软件开发的速度。然而,如何确保其输出的结果值得信赖,依然是当下的一大核心挑战。在实际开发中,我们经常遇到一些让人头疼的问题:需要评审规模庞大且难以入手的 diff、在跨编码会话(sessions)时丢失上下文,或者由于 AI 在任务中途转移了注意力而产出一些只有部分功能可用的“半吊子”代码。

                  为此,我希望找到一种能够有效化解这些风险的工作流。它需要满足以下几点:

                  1. 减轻评审 AI 生成代码时的认知负载(Cognitive Load)。

                  2. 允许我随时暂停会话并在之后无缝衔接,而无需向 AI 助手重新解释上下文。

                  3. 保持代码库的稳定性,防止 AI 在开发中悄悄“跑偏”。

                  为了测试这一设想,我亲自动手构建了一个名为 tiny-event-bus 的项目——这是一个使用 GitHub Copilot 配合 Claude 4.6 Opus 开发的类型安全、零依赖的事件总线(Event Bus)。我在其中摸索出的这套工作流主要由三部分组成:将工作拆分为易于评审的小块的里程碑(Milestones)、两种不同频率的评审关卡(Review Gates),以及一个用于在不同会话间维持 AI 项目记忆的动态上下文文件(Living Context File)。

                  在这篇文章中,我将重点聊聊这些里程碑的拆分,以及为什么我认为它们在 AI 辅助软件开发中至关重要。

                  AI 辅助下的开发规划

                  在项目的第一个会话(session)里,我没有动一行代码,而是把时间都花在了描述我的真实需求上。AI 据此提出了一个完整的方案:包括技术栈选择、包(package)结构和里程碑拆分。

                  在双方达成一致后,AI 在“规划模式(Plan Mode)”下草拟了 AGENTS.md 和 MILESTONES.md 文件。在正式编写任何实际代码之前,我对这些内容进行了反复评审和迭代。其中,AGENTS.md 是一个控制在 200 行以内的精简上下文文件,在每个里程碑完成后都会进行更新,从而确保后续新的会话能够基于最新的上下文启动。

                  里程碑:让代码评审保持“小步快跑”

                  AI 可以在几分钟内生成涉及 40 个文件的 diff。而里程碑(Milestones)机制正是解决这一痛点的良方——它将每个功能拆分为足够小的分块,让你可以坐在位子上一次性轻松评审完。并且,每个里程碑交付时,代码库都必须处于可编译、测试已通过且文档完备的稳定状态。

                  每个新功能的开发都始于规划模式,由 AI 提出拆分建议。具体而言,它会分析该功能涉及的技术层、需要拆分为多少个里程碑以及具体的先后顺序。这种顺序基于依赖关系分析,而非生搬硬套的固定序列,我们会不断迭代直到方案完全合理。随后,AI 会将商定好的里程碑更新至 MILESTONES.md中,并将它们默认标记为“未开始(not started)”。最后,在代码实现正式开始前,我会对整个计划进行最终评审。

                  “一个功能绝不仅仅是一个里程碑。”

                  以订阅事件总线上的所有事件(即 onAny 事件监听器)这一功能为例。它的具体落地被拆分成了四个里程碑:

                  1. 核心实现 —— 将 onAny功能添加到事件总线中。

                  2. React Hook—— 一个将监听器与 React 组件生命周期绑定的封装器。

                  3. Demo 更新—— 将其接入示例应用中。

                  4. 端到端验证与文档更新 —— 验证该 API 的端到端可用性,并提升其可发现性(Discoverability)。

                  在第一个里程碑完成后,核心功能已经可以使用,且所有测试均顺利通过。此时 React hook 虽然还不存在,但现有的代码没有任何损坏。你完全可以直接推送(Push)代码,改天再回来继续。

                  再举一个将项目迁移为 Monorepo(单仓多包)以通过插件架构支持事件总线功能扩展的例子。它被拆分成了五个里程碑:

                  1. 脚手架搭建工作区(Workspace)结构。

                  2. 提取核心包(Core Package)。

                  3. 提取 React 插件。

                  4. 完整工作区的验证。

                  5. 将示例应用迁移为使用工作区依赖。

                  对比一下:如果让 AI 一口气把整个迁移做完,你将不得不面对一个包含 40 个文件的庞大 diff。你需要一边检查 peer 依赖声明,一边验证导入路径(Import Paths)。那样的评审体验简直是一场灾难!相反,分块进行评审则轻松得多,因为你能够真正静下心来去阅读并思考每一行代码。里程碑将代码评审从冷冰冰的“合规审计”变成了一场有来有往的“建设性对话”。

                  评审关卡:及早捕捉偏差

                  评审关卡(Review Gates)能够确保每个里程碑的质量落到实处。我之所以称其为“关卡(Gates)”而非“循环(Loops)”,是因为它的核心特征不在于重复迭代,而在于 AI 必须停下来,等待人类的明确许可后才能继续。这确保了在未经人类评审的情况下,任何代码都无法擅自合并进代码库。

                  这有意区别于诸如 Ralph 循环(Ralph Loop)等完全自主的方法。在 Ralph 循环中,AI 处于“编写代码、测试、修复、重复”的持续自动化循环中,极少需要人类干预。虽然 Ralph 循环把速度拉满了,但由于它会在极短时间内生成海量代码,这给人类的监督带来了巨大障碍。这种“狂飙”的速度极易导致错误的假设在底层层叠加重。关卡机制用一部分速度换取了控制权,但其整体开发效率依然远比你纯手写要快得多。

                  在这个工作流中,我们设计了两种不同频率的评审关卡:

                  • 内部关卡(Inner Gate): 在每个独立测试完成后触发(这也是最小的可评审单元),能够在错误的假设蔓延之前将其掐断。

                  • 外部关卡(Outer Gate): 在里程碑边界触发,用于检查完成的功能是否契合全局设计,以及代码库是否处于稳定状态,以便交付或稍后继续。

                  1. 内部关卡(Inner Gate)

                  由于项目遵循测试驱动开发(TDD)流程,内部关卡会在每次“红-绿-重构(Red-Green-Refactor)”循环后触发。AI 编写一个失败的测试,然后仅编写足以使测试通过的代码,随后便停下来等待评审。这可以防止 AI 预先注入不必要的自以为是的假设。

                  如果没有内部关卡, AI 可能会基于某种误解来编写测试并据此进行实现,最终产出一个逻辑自洽但方向完全错误的功能。内部关卡能够在极早期捕捉到这种偏差,同时也一步步建立起人类对代码的信心。

                  2. 外部关卡(Outer Gate)

                  外部关卡在里程碑边界触发。此时,AI 会运行诸如测试套件、代码检查(Linting)、构建、文档更新等一系列机械性检查。而我的评审则是人类特有的控制层——在这一步,我会验证整体设计、审查配置文件的更改、检查项目结构,并捕捉自动化手段容易漏掉的盲点。

                  在每个里程碑完成后,AGENTS.md和 MILESTONES.md 都会被更新,它们会明确告诉 AI 你当前停留在哪里。这就是让“暂停与恢复(Pause and Resume)”机制得以完美运转的核心所在。

                  它能帮我们将大型评审拆解为易于管理的小块,安全地回滚到之前的任何检查点,并保持文档的实时更新,以便新的会话可以在上一个逻辑完结处平稳启动。

                  我们真的两者都需要吗?

                  简单来说,内部关卡是里程碑内部的评审点;而外部关卡则是具备足够稳定性、可以随时 Push 的里程碑边界。

                  我们能否跳过内部关卡?这取决于具体情况。仅靠外部关卡确实也可以让评审规模保持在较小范围内,并提供稳定的暂停点。但代价是,你只有在里程碑结束时才会发现错误的假设,而不是在每个测试结束后及时纠偏。此外,内部关卡能让外部关卡的评审变得更快——因为你已经审过了每一个具体的测试,外部关卡在很大程度上就简化为了纯粹的全局设计方案走查。

                  因此,对于成熟的代码库,跳过内部关卡是合理的选择;但对于从零开始的新项目(Greenfield Work),内部关卡绝对物超所值。

                  实践中的“摩擦”与挑战

                  在实际推行这套工作流时,我也遇到了一些不完美的地方:

                  • AI 倾向于直接编写完整实现而非“最小可行代码”,这在一定程度上削弱了 TDD 的严谨性。重构(Refactor)环节在 AI 的干预下也变得更加薄弱。在将测试变绿之后,AI 几乎绝不会主动去审视是否需要重构。要么是它觉得代码已经足够干净,要么是存在真正的重构机会却被它完全忽略了。你通常不得不自己找出这些盲点并给它相应的提示(Nudge)。

                  • AI 无法百分之百可靠地遵循上下文文件中的规则。 大模型遵循指令是概率性的,而非确定性的。

                  • 用 AI 更新文档是一场持久战。 有时 AI 会把一个里程碑标记为已完成并直接进入下一步,除非你明确要求,否则它压根不会去动其他文档。即便它真的去更新了,也往往会更新了部分文档而漏掉了另外一些。

                  • AGENTS.md 中的规则仅是约定俗成的惯例,缺乏自动化的强力约束。

                  警惕:这种模式很容易让人上瘾!

                  这种高效的闭环体验令人极度舒适。当编码实现的阻力降得如此之低时,真正的瓶颈就转移到了你个人的精力与判断力上——而这两者都会随着疲劳而迅速下降。当你感到疲惫、只想机械地“打勾”通过并期待下一个功能立刻跑起来时,评审关卡机制的效果就会大打折扣。

                  核心结语与启示

                  AI 编写代码的速度远快于人类评审的速度。 本文提出的工作流正是通过引入“约束”来破解这一难题:

                  • 里程碑: 确保每次评审都保持在较小的、可控的规模。

                  • 内部关卡: 每次只针对一个测试进行纠偏,及早捕捉假设偏差。

                  • 外部关卡: 确保每个检查点上的代码库都处于可随时交付的稳定状态。

                  • 动态上下文文件: 在不同的开发会话之间完美维持项目记忆。

                  AI 速度极快且不知疲倦,但它缺乏鉴赏力(Taste)和判断力(Judgment)。在 AI 时代,你的核心工作已从“编写代码”转向了“设计约束”与“评审输出”。在这一全新范式下,你将同时扮演架构师、高级开发人员以及 QA 的角色。

                  免责声明:本文中表达的陈述和观点属于作者个人,不一定反映 Thoughtworks 的立场。

                  跳转微信打开

                  有意思小周刊No.168(2026.05.25):Codex团队使用SOP

                  2026年5月25日 08:30

                  原创 强少Qone 2026-05-25 08:30 广东

                  「有意思小周刊」是我利用零碎时间,梳理记录一周的日常阅读与思考内容。目的是为以后更好构建自己知识体系,也为了将这些内容分享给你。

                  以下是这期值得关注的内容

                  📰 推荐阅读

                  1. Codex 团队使用 SOP

                  2. 来自 Codex 官方团队的分享:如何把 Codex 用到极致

                  3. AI新名词比我头发掉得还快

                  4. Claude Code Harness 工程:数仓侧落地方案|得物技术

                  5. 私域转化率翻倍的秘密:我们把多模态Agent融进了私域营销

                  6. 重新定义Skill开发:保姆级教程&一站式开发助手发布

                  7. 缓存使用实践总结:以淘宝交易结算场景为例

                  8. 生成式强化学习在七猫小说内容扶持业务的实践

                  9. 基于 Harness + SDD + 多仓管理模式的 AI 全栈开发实践|得物技术

                  10. 淘天营销中后台生码工作流最佳实践

                  🔎 发现新大陆

                  1. 高斯泼溅作品集

                  2. 免费IP地理位置数据库

                  🛠️ 资源·工具

                  1. GEOFlow:一套专门面向 GEO(生成式引擎优化)的开源智能内容工程系统

                  2. Stock SDK:面向浏览器与 Node.js 的股票行情 SDK

                  ▌Codex 团队使用 SOP

                  链接:https://blog.janus-path.com/2026/05/20/Codex%E5%9B%A2%E9%98%9F%E4%BD%BF%E7%94%A8SOP/

                  本文档为团队使用 Codex、OpenSpec 和 Superpowers 制定了全面的标准操作流程。不只适用于开发工程师,也适用于产品经理、测试工程师、设计师、运营、实施交付、数据分析和其他需要沉淀项目上下文的业务团队。核心思想是将可复用的项目上下文结构化为 OpenSpec 记录,将高频复杂操作封装为 Superpowers,并通过 Codex 自动化和验证执行过程。同时,强调了上下文预算的重要性,要求在简单任务中不引入复杂工具,避免信息过载影响模型效果,最终目标是降低协作门槛,让团队经验和决策得以沉淀和复用。

                  ▌来自 Codex 官方团队的分享:如何把 Codex 用到极致

                  链接:https://mp.weixin.qq.com/s/BzR8QdVkEg2nLtZP1wVXWQ

                  本文详细介绍了如何将AI编程助手Codex的功能发挥到极致,核心在于将其从一个单纯的代码生成工具,升级为能处理电脑上各类复杂任务的“全能打工人”。文章重点阐述了通过利用“持久对话流”来保持工作上下文、运用“语音输入”、“任务干预与排队”等技术实现灵活的人机协作,以及借助“自动化”、“目标设定”和“侧边栏”等功能,让Codex能够在用户不在场时自主推进工作,并高效审查和迭代成果,从而覆盖从指令到执行的完整工作流。

                  ▌AI新名词比我头发掉得还快

                  链接:https://mp.weixin.qq.com/s/KRkweiilI8X4pH-xvrkfUQ

                  本文梳理了AI应用开发中涌现的海量新名词,将其归纳为“三代工程化跃迁”:第一代提示词工程解决“怎么问”的问题,第二代上下文工程解决“喂什么”的问题,第三代Harness(质检)工程解决“怎么验”的问题。文章指出,无论哪代工程,其底层都基于LLM、Memory、Tools、Planning四大基础模块,并强调了建立标准化评测体系对于确保AI系统可靠性的关键作用。

                  ▌Claude Code Harness 工程:数仓侧落地方案|得物技术

                  链接:https://mp.weixin.qq.com/s/KmQJU7nXmYh5qgWPj4ajlw

                  本文详细介绍了在得物离线数仓场景中,针对 Claude Code 等 AI 编码工具在开发过程中暴露出的 "上下文失忆"、"规范执行不稳定" 及 "复杂需求 context 膨胀" 三大结构性痛点,设计并落地了 Harness 工程方案。该方案构建了一套包含持久化层(CLAUDE.md、Auto Memory)、自动化钩子层(Hooks)、上下文隔离层(Subagents)的多层防御体系,将业务语义、开发规范和迭代约束从不可靠的 LLM 记忆中迁移到确定性的文件系统和脚本执行环境中,从而系统性地提升了 AI 辅助开发的规范遵守率和准确性,实现了从 "AI 帮我写代码"到 "AI 嵌入研发流水线"的升级。

                  ▌私域转化率翻倍的秘密:我们把多模态Agent融进了私域营销

                  链接:https://mp.weixin.qq.com/s/IUkQOiS1wcCXEusA-jFtFA

                  本文介绍了货拉拉如何利用多模态大模型和Multi-Agent系统,系统性解决私域营销中传统内容生产高度依赖人工、效率低且难以规模化个性化的痛点。通过将AI质检、多模态营销素材生成和问答交互三大专属Agent协同工作,实现了从用户意图识别、营销素材自动生成到合规安全交互的全链路自动化,有效解决了私域流量转化难、运营节奏踩不准等问题,最终达成私域运营从“人工零散执行”向“AI全流程托管”的智能化升级,显著提升了转化效率并降低了运营成本。

                  ▌重新定义Skill开发:保姆级教程&一站式开发助手发布

                  链接:https://mp.weixin.qq.com/s/FgGVPw0BOZEu5sH1FdrVoQ

                  本文是一份关于AI Agent Skill开发的全面教程,阐述了Skill作为结构化指令文档的本质、其渐进式加载机制,并深入分析了当前Skill生态面临的跨平台一致性、版本管理和调试效率三大痛点。文章的核心观点在于,AI自动化的是重复性任务,而人类的独特价值在于提供体验和判断。为解决生态痛点,文章介绍了一站式Skill开发助手,旨在将复杂的Skill开发流程简化为用户只需做出判断的单一入口,从而让用户专注于价值创造而非工具学习。

                  ▌缓存使用实践总结:以淘宝交易结算场景为例

                  链接:https://mp.weixin.qq.com/s/LRJUL9RAhr85FlsmStTCZQ

                  本文以淘宝交易结算场景为例,系统总结了缓存使用的理论与实践。文章首先阐述了适用缓存的数据需具备的四个核心条件(不要求强一致性、访问频率高、更新频率低、访问要求高性能),并详细介绍了从存储端、存储介质、存储时机三个维度进行缓存分类与选型的方法。随后,通过五个典型实践场景(配置类数据缓存、实体类数据缓存、单例型配置缓存、分布式锁、汇总计数),展示了不同特征数据如何根据理论进行具体选型与落地。最后,文章重点分析了缓存穿透、击穿、雪崩、一致性、序列化及本地缓存并发等六大安全风险的成因与治理方案。

                  ▌生成式强化学习在七猫小说内容扶持业务的实践

                  链接:https://tech.qimao.com/sheng-cheng-shi-qiang-hua-xue-xi-zai-qi-mao-xiao-shuo-nei-rong-fu-chi-ye-wu-de-shi-jian/

                  本文介绍了七猫小说在内容扶持业务中采用生成式强化学习(Generative Reinforcement Learning)技术,将有限的扶持流量进行高效动态分配。该技术通过将内容扶持建模为时序序列优化问题,利用Transformer架构对全天48个时间步进行全局决策,并设计乘积式复合奖励函数,同时兼顾了新增阅读量、转化效率和扶持系数约束三大目标。实验表明,该策略在固定流量下显著提升了书籍曝光效率,尤其使30-100万字的优质连载书新增阅读量提升了6%。

                  ▌基于 Harness + SDD + 多仓管理模式的 AI 全栈开发实践|得物技术

                  链接:https://mp.weixin.qq.com/s/ygQGSH5c7GHYDvkqWoQTXQ

                  本文提出了一套基于“Harness + SDD + 多 Agent”的全栈AI开发方法论,核心是通过给AI提供精确的模仿对象(Harness思维)而非让其凭空创造,以解决AI生成代码风格不统一、采纳率低的问题。该方法通过搭建前后端统一的工作区并利用Codebase Indexing建立语义索引,再以SDD文档驱动生成前后端代码,并支持多Agent并行开发以提升效率。此外,文章还强调了在前后端联调中采用分阶段验证策略,并提醒开发者警惕AI自动复刻“隐性功能”带来的测试陷阱,从而在实际项目中实现了提效50%+的显著成果。

                  ▌淘天营销中后台生码工作流最佳实践

                  链接:https://mp.weixin.qq.com/s/VjTyHFr17l_bObG6x8-Mmw

                  本文总结了淘天营销中后台在AI生码提效上的系统性升级实践,核心路径是统一收敛至基于AoneSuper的云端托管生码,以解决本地环境不一致、AK管理难和执行易中断等问题。在此基础上,构建了基于git submodule和turborepo的跨仓库工作区以支持多仓协同,并打造了覆盖需求理解到构建发布全链路的可编排场景化工作流。针对高确定性的迁移/重构任务,采用架构说明文档+领域Skill固化规则;针对低确定性的日常迭代,引入“功能树”实现查表式精准知识供给,并结合D2C/API还原优化与知识自动沉淀,形成了持续改善的提效飞轮。

                  ▌高斯泼溅作品集

                  链接:https://superspl.at/

                  高斯泼溅(Gaussian Splatting)是一种算法,可以将多张照片合成为 3D 图像。网站 SuperSplat 提供在线的高斯泼溅处理,可以上传照片进行处理,还能浏览很多合成好的 3D 模型。

                  ▌免费IP地理位置数据库

                  链接:https://ip66.dev/

                  免费的 IP 地理位置数据库,可以自由下载,在脚本中调用查询。

                  ▌GEOFlow:一套专门面向 GEO(生成式引擎优化)的开源智能内容工程系统

                  链接:https://github.com/yaojingang/GEOFlow/tree/main

                  GEOFlow 是一套专门面向 GEO(生成式引擎优化)的开源智能内容工程系统,是全球最早围绕 GEO 场景系统化设计的数据、内容与分发基础设施之一。它把数据沉淀、知识库、素材管理、AI 生成、审核发布、前台展示与后续多端分发串联为一条可持续迭代的工作链路,目标是逐步演进为一套强大的“从数据到内容、从内容到多端发布”的 GEO 优化系统。

                  ▌Stock SDK:面向浏览器与 Node.js 的股票行情 SDK

                  链接:https://stock-sdk.linkdiary.cn/

                  零依赖、轻量发布包,覆盖 A 股 / 港股 / 美股 / 基金 / 期货 / 期权、K 线、技术指标与 AI / MCP 接入

                  END

                  如果本文对你有帮助,请点赞、在看和分享给身边的朋友!

                  别忘了关注「强少来了」

                  获取更多前端 · 后端 · B端产品思维的精彩内容!

                  👇👇👇

                  你的认可,是对我最大的鼓励

                  求转发,朋友圈

                  另外我建了一个读友交流群

                  你可以回复关键词「进群」

                  添加我个人微信,邀请你入群

                  跳转微信打开

                  王川:当隔壁老王投资存储股票赚了三十倍后,如何还能不焦虑 (五)- 牛鞭效应

                  2026年5月25日 05:38

                  原创 硅谷王川 2026-05-25 05:38 美国

                  王川:当隔壁老王投资存储股票赚了三十倍后,如何还能不焦虑 (五) -- 牛鞭效应

                  本文是    王川:当隔壁老王投资存储股票赚了三十倍后,如何还能不焦虑 (四)    的续篇。

                  1/ 建造大型数据中心,是个很复杂的工程。第一需要巨大和稳定的能源供应, 第二需要能源和数据中心联网,第三需要各种定制的重型器材。

                  2/ 和电网的连接不止是个工程问题,还涉及到环保,对电网稳定性和电价的影响,等各种复杂的需要研究和审批的事项。任何一个关口卡壳,都会耽误很长时间。即使一个项目搞定了能源供应,要让监管者批准和电网的连接,并在工程上落实,至少需要三到五年时间,有的地区甚至更长。

                  3/ 连接电网的大型数据中心需要电力变压器,把来自电网的高压电层层转换,变成数据中心的器材可以使用的电压。变压器有不同等级,目前最缺的是变电所的高压变压器,据说交货时间因为订单太多, 已经延迟到三到五年。缺货的原因是因为制造工序和供应链极为复杂,需要各种定制的零部件,特殊的材料,等等。

                  4/ 有人会说,没关系,我可以不用和电网连接,也不用大型变压器,我现场租用燃气轮机 (Gas Turbine),用天然气发电!事实上,马斯克的 xAi 就是这样,2024年只花了四个月时间,搭建起自己的第一个数据中心 Colossus 1。但是这条路径现在又有新的问题:一是环境污染和能源浪费较大,导致各地政府监管力度加大。二是需要稳定的天然气供应。三,现在燃气轮机供不应求,新订单的交货时间已经超过五年。

                  5/  AI 投资观察者 Ed Zitron 最近发表了一篇文章,“数据中心去哪儿了” ? ( Where are all the data centers?) 。文章指出, (除了 xAi的 Colossus 超算中心之外),各个公司过去两年上线的数据中心规模最大也就是两百到三百兆瓦,大部分真正完工的项目都在 50兆瓦以下。OpenAI 和 软银在 2025年一月高调宣传的四年投资五千亿美元,26年底要上线1200兆瓦的 Stargate 数据中心项目,迄今为止只有两个总共 210 兆瓦的数据中心上线。某大公司高调宣传过去两年有四千兆瓦的算力上线,但如果仔细盘点它过去三年开工的各个数据中心项目,没有任何公开信息可以证明任何项目已经完工。媒体宣传时常常玩文字游戏刻意误导,比如某个数据中心项目里 N 幢楼只有一两幢上线运营,记者的文字会给读者以整个项目全部完工的错误印象。而四月份彭博社的一篇文章号称,今年在美国建造的数据中心项目,大约一半会推迟甚至彻底取消。

                  6/  当数据中心的建设上线时间需要至少三到五年,而 GPU 的交货时间只要 6到 12个月,一个不可避免的结论是,云服务商要么必须减少 GPU 的订单以和数据中心建设进度同步,要么必须容忍自己买来的 GPU 放在仓库里静静的吃灰,越堆越多。

                  7/ 一个观察公司囤货增加的角度是看所谓 “Construction In Progress” ( 在建工程) 或者 “Asset not yet in service” (未投入使用资产)。 比如谷歌 25年三月底的时候,未投入使用资产价值为 556 亿美元,一年以后这个数字上升为 1086 亿 ; 脸书的在建工程,25年三月底为 323 亿,26年三月底上升为 610 亿 ; 亚马逊每年只披露一次这方面的数据,24年底到 25年底在建工程从 466 亿上升为 717 亿。微软没有直接披露这方面的数字。但整体看,除微软外的三家大公司的”尚未投入使用的资产“过去一年从 1340 亿美元增加到 2410 亿美元,净增 1070 亿美元,增长幅度为 80%。  如果假设未投入使用资产中有 30%为 GPU, 那么 1070 亿美元的增量就是 321 亿,正好相当于一百万台在仓库里吃灰的英伟达的 Blackwell GPU。

                  8/ 这里需要引入一个供应链管理的概念:牛鞭效应 (Bullwhip effect)。 简而言之,牛鞭效应是指实物商品从销售到生产的各个环节之间存在较大的时间延迟,因此来自终端买家的订单的微小波动,就可以导致后台生产商的生产量的大幅波动。这好比终端买家挥舞着一个牛鞭,轻轻一动就可以导致鞭尾的大幅波动,所以叫牛鞭效应。

                  9/ 牛鞭效应的成因主要有两点:一,生产环节复杂,延迟较长,需求上升期时延迟增长更快,雪上加霜 ; 二,每个环节上的买家只能看到自己的客户的需求,对市场整体需求的变化主要靠猜,上升期时为了让自己有冗余,通常向上游供货商开出比自己实际收到需求要多出一些的订单数目,每个环节大家层层加码,最后导致后台生产商的生产量的巨大波动。

                  10/ 牛鞭效应的最反直觉的两点在于:一,当客户订单开始加速涌入时,不管你开始如何向上游增加订单,因为生产的延迟,会有很长一段时间,缺货现象会越来越厉害,而竞争压力会诱导你大幅度增加更多订单。 二,当供需关系变得平衡之后,即使你立刻取消所有订单,已经开启生产的货物仍然会源源不断的进入市场,很长一段时间供过于求的问题会越来越糟。

                  11/ 从供不应求到供过于求的临界点的转换很难提前预测,形成原因也非常复杂。有时是因为供给终于上来了,有时是因为价格过高导致终端买家的需求减少,或者经济衰退,或者买家找到了替代解决方案。转换的发生是瞬间的,就好像一个拥挤的酒吧突然着火,原先淡定的狂欢者,突然同时决定冲向一个逃生的窄门。

                  12/ 因为延迟和缺乏准确全局信息,因为害怕落后于竞争者,每个环节上的参与者都会在局部缺货的时候义无反顾的增加订单,造成上游的更多的缺货,更多价格上涨,和更多投机者的义无反顾的涌入。而一旦供给远远超过需求时,大家不断砍订单,甩卖存货,反向的价格下跌,投机者破产的现象又会层层向下传播,把价格推向另外一个极端。

                  13/ 历史上若干次酒吧失火,大量人员伤亡的惨剧,本质都是因为出口太小,火势过临界点后大家同时想夺路而逃,人员踩踏导致出口被彻底堵死,最后大家一起堵在出口窒息而亡。 从无忧无虑的狂欢,到出口被堵死的时间,很多时候不到 100秒。而且起火的开始几十秒,很多人还会误以为这是狂欢节目的一部分,完全没有撤离的想法。 和你一起在酒吧狂欢的其他人,根本不是你的朋友,而是起火后和你一起在门口互相践踏,共赴黄泉的竞争者。 

                  14/ 类似的,很多资产泡沫,从东窗事发,到价格下跌 50% 以上,往往就是两三个星期,甚至一两天的事情。开始下跌 10%的时候,大家通常不在意,以为是正常的回调。跌过某个临界点后,所有大基金,散户都在竞相恐慌的抛售,跌得越多,就会有更多人恐慌,导致更大的下跌。 在泡沫上升期,互相鼓气的狐朋狗友,在恐慌期,统统变成自相残杀的猪队友。他们的思维模型里,无法真正理解为什么资产从高涨到暴跌的转换可能就是几天的事情,因此最终的悲惨结局很早就已注定。

                  15/ 所以现在大致的格局轮廓就清晰了: 

                  i/ 几大云服务商竞相穷尽经营现金流,增长资本性投入,负债累累,同时建设大量数据中心或签下大量长期租约,推动整个半导体行业的收入和利润暴涨。

                  ii/ 但行业的瓶颈已经转移到数据中心的建设,工期一拖再拖,在建工程和GPU 存货的金额也在增长。能源供应,电网连接,变压器,燃气轮机等等各种瓶颈,砸再多钱, 也无法立刻解决。

                  iii/ 整个半导体产业过去三年多处于牛鞭效应的上升期。很多观察者看到短期各种供不应求的强劲数字,误以为形势还会继续下去,误以为自己可以精准逃顶。

                  下一期要切到正题,讲讲在存储股票上赚了 30倍的隔壁老王。

                  (未完待续)

                  ---

                  所有文章表达笔者个人观点仅供参考,不构成对所述资产投资建议,投资有风险,入市须谨慎。笔者推特号"Svwang1", 新浪微博 “硅谷王川", 网站 chuan.us。

                  点击下面链接可看到本公众号过去两百多篇原创文章的链接目录:

                  硅谷王川的公众号文章目录 (2026年一月)

                  跳转微信打开

                  GLM-5.1高速版:400 tokens/s,顶尖模型跑出最快速度

                  2026年5月22日 09:41

                  智谱 2026-05-22 09:41 北京

                  Coding时代,速度是爽点。

                  今天,我们面向部分企业客户提供GLM-5.1高速版API“GLM-5.1-highspeed”。模型输出速度达到400 tokens/s,刷新当前全球大模型厂商API的速度上限。

                  这一速度意味着,一位写作者连续伏案数天才能写完的文字量,它在1分钟内便交付完毕;一名工程师埋头敲键盘3天才能完成的开发任务,它能在喝一杯咖啡的时间里完成。

                  更重要的是,在过去,“快”往往意味着“小”,高速模型几乎总是轻量级模型。GLM-5.1高速版打破了这一行业惯例,首次在国产大模型中,将旗舰级能力与极致低延迟同时带入生产环境,无需再为响应速度牺牲模型质量。

                  我们对比了GLM-5.1高速版与GLM-5.1普通版的速度与效果,如下:

                  在长程任务中,GLM-5.1高速版在30秒内完成复杂网页

                  在Agent Swarm中,GLM-5.1高速版瞬间调度50个不同人格来并行回答

                  不是快的模型,而是快的旗舰模型

                  过去一年,国内大模型的Coding能力快速提升,而Coding恰恰是AI应用中对速度较为敏感的场景之一。

                  一个Coding Agent任务往往需要经历数十轮模型调用,单轮响应只要慢上几秒,整体耗时就可能拉长十几分钟;面对长程任务的大型重构项目,每一步响应慢1秒,逐步累加又是几分钟的空等。

                  GLM-5.1高速版在完整保留GLM-5.1能力的基础上,第一次拥有“即问即答”的响应速度,带来的体感完全不同,模型开始真正成为一个可以实时协作的伙伴,和你坐在一起盯着画布调参。

                  实测1:写代码像开启了10倍速,模型能够一边理解工程上下文,一边持续生成代码与修改方案,你刚输入需求,函数、接口与调用链已经同步展开。

                  实测2:玩家控制一个角色在3D地图里移动,输入文字,模型会根据输入的文字瞬时建模,场景实时改变。此前因延迟而无法实现的全新产品形态,开始真正具备落地可能。

                  实测3:用户提出需求的那一刻,模型可以即时生成出恰好匹配这个需求的工具与交互,甚至可以意图判断,这正是一种新型操作系统的雏形。

                  速度背后:TileRT高性能推理引擎

                  GLM-5.1高速版API“GLM-5.1-highspeed”由智谱GLM团队与TileRT团队联合打造,在推理引擎、调度系统与底层基础设施三个层面进行了系统级优化:

                  • 推理引擎层:针对GLM-5.1的架构特点,重写了核心推理路径,有效提升了单卡吞吐能力;
                  • 调度系统层:通过动态批处理、请求合并和KV缓存调度优化,显著降低高并发场景下的尾延迟;
                  • 基础设施层:围绕推理集群部署、网络链路、负载均衡进行协同优化,确保400 TPS不是一个“峰值”数字,而是稳定可用的生产级能力。

                  模型推理速度的理论上限由硬件决定,但真实系统通常距离物理极限仍存在巨大差距。核心问题在于推理框架的调度方式。当前主流框架仍以operator/kernel作为基本调度单元,每个算子都要经历“host启动→读权重→计算→写回→同步”的严格完整链路。当推理进入单token、小batch、多卡TP的场景后,算子被切到微秒级,原本可忽略的调度、访存与同步开销会被迅速放大。

                  TileRT的设计思路,是彻底抛弃Runtime层的动态调度,在编译期(AOT)将整个计算图静态编排为一个常驻GPU的persistent Engine Kernel。在单卡之内,计算、异步IO与通信被全部拆解为Tile级微任务,整个推理过程只Launch一次Engine Kernel,算子间的中间结果不再写回Global Memory,而是经由Register、Shared Memory与L2 Cache直传,host调度与跨算子同步被悉数压进同一个常驻kernel。在多卡尺度上,TileRT进一步将SM内部的Warp Specialization思路外推到整张8卡NVL拓扑。不同GPU rank不再执行同构逻辑,而是按计算密度与数据依赖被特化为不同worker。

                  完整技术blog链接:https://www.tilert.ai/blog/speed-as-the-next-scaling-law-zh.html

                  面向速度敏感场景开放

                  GLM-5.1高速版适用于AI编程、实时交互、商业决策、实时语音等对响应延迟要求极高的场景,现已面向智谱MaaS平台部分企业客户开放服务。

                  我们将持续推进推理引擎的工程优化,进一步扩大高速模型的服务能力,让更多企业与开发者与能够获得低延迟、高智能的生产级AI能力。

                  开放平台模型页面:https://docs.bigmodel.cn/cn/guide/models/text/glm-5.1-highspeed

                  跳转微信打开

                  ❌