铃阅
❌

阅读视图

机器人走出实验室,具身智能为什么选 MQTT?

原创 杨威 2026-11-09 16:29 湖北

本文梳理具身智能场景中的通信分工,讲清楚 MQTT 管什么、不管什么,以及在规模化落地中需要注意的工程细节。

导语

一台机器人走出实验室之后,最先遇到的问题往往和模型无关——

设备现在在线吗?新的模型怎么推到几千台设备上?指令发出去,怎么确认它真的执行了?

本文梳理具身智能场景中的通信分工,讲清楚 MQTT 管什么、不管什么,以及在规模化落地中需要注意的工程细节。

一、先看全景:一台机器人的通信链路里都使用了哪些通信协议

大部分人关注机器人的模型能力,但很少注意到通信链路。实际上,一台具身智能机器人从关节驱动器到云端,内部至少跑着四五种通信协议,它们分工明确、互不替代。

先看一张整体架构图——云端在上面,设备本体在下面,中间是三条跨公网的通道:

图 1:具身智能通信架构总览。

这张图有三个要点:

1.

设备本体内部有两层——实时控制(关节、驱动器)和机内感知决策(相机、规划、VLA 推理)。它们都在设备内部,不经过公网。

2.

跨公网的通道有三条——MQTT 管信令,HTTPS/COS 管文件,WebRTC 管媒体。三者并列,职责不同。

3.

MQTT 只是其中一条——它既不进入关节伺服,也不搬运视频文件。

决定用哪种协议的,不是「哪个更先进」,而是这条链路要满足什么约束:

1. 五种职责,五个区域

按职责划分,具身智能系统的通信可以分成五类:

图 2:五种职责与对应的常见协议。

2. 各区域的协议在干什么

本体实时控制:机器人的「脊髓」

关节伺服和运动控制对确定性要求最高——不是「平均很快」,而是要在系统的实时截止时间内稳定完成。这类场景通常使用 EtherCAT(Ethernet for Control Automation Technology)、CAN-FD(Controller Area Network with Flexible Data-Rate)等现场总线,传输目标位置、速度、力矩,以及回传的实际角度、电流、温度、故障码。

机内感知与决策:机器人的「神经中枢」

机内的感知和决策需要多个软件模块高效协作:相机驱动、定位建图、规划器、VLA 模型……ROS 2(Robot Operating System 2)是这类场景的常见框架,它常见的实现基于 DDS(Data Distribution Service),也可使用其他 RMW(ROS Middleware Interface)实现,提供去中心化的发布/订阅和细粒度的 QoS 配置。

实时音视频:媒体面

远程视频巡检、与人语音对话属于媒体面。WebRTC(Web Real-Time Communication)与 RTP(Real-time Transport Protocol)自带抖动缓冲、前向纠错、自适应码率,这是为音视频流专门设计的。

HTTPS / 对象存储:大块数据搬运

训练数据动辄 GB 级,适合用 HTTPS 分片上传直接写入对象存储,追求吞吐与成本,而不是实时性。

MQTT:机器人与云之间的协同层

当通信需要跨出机器人本体、面对公网环境时,问题的性质就变了:IP 会变、网络会断、设备会掉电、带宽时好时坏,而且设备数量从一台变成一万台。这正是 MQTT 发挥价值的地方。在传输层上,腾讯云消息队列 MQTT 版已正式商业化支持 MQTT over QUIC,可与 TCP、WebSocket 接入点并行使用。QUIC 能改善弱网和切网下的连接体验。

3. 一句话的分界线

一句话总结这条分界线:

机身之内、有硬实时要求的 → EtherCAT、CAN-FD 和实时中间件

跨出机身、走公网、管理海量设备的协同与编排 → MQTT

音视频 → WebRTC

GB 级数据 → 对象存储

各协议各司其职,共同构成完整的通信链路。

二、为什么跨出本体之后,选的是 MQTT

把范围收窄到「机云协同」这一层。具身智能对通信提出了六个要求,下面逐一看 MQTT 是如何回应的。

需求 1:设备在弱网里,断了要能恢复

具身设备面临的网络环境,往往比较复杂:

数据采集设备随人走进不同的工厂、商超、居民楼,连的是现场 Wi-Fi;

服务机器人在楼层间移动,AP 切换是常态;

户外作业设备依赖 4G/5G,信号随位置变化。

MQTT 的回应:长连接 + 会话恢复。

设备与 Broker(消息代理服务端)之间维持一条长连接,通过 Keep Alive(保活)机制探活。断线后,可以通过持久会话让 Broker 保留订阅关系和未送达消息,设备重连后继续投递。

这里有几个容易被忽略的细节:

协议 3.1.1:通过 Clean Session = false 保持会话;

协议 5.0:首次可建立新会话,断线前需配置非零的 Session Expiry Interval(会话过期间隔);恢复时使用稳定的 ClientId(客户端标识)+ Clean Start = false(不清空启动),并检查 CONNACK(连接确认报文)中的 Session Present(会话已存在)标志确认会话是否真的恢复;

协议不负责自动重连。客户端的退避重连、本地缓存、任务状态机,仍需要业务侧实现。

如果设备经 QUIC 接入,还能从传输层减少重连。 QUIC 以 Connection ID(连接标识)而非 IP 与端口标识连接:Wi-Fi 与蜂窝网络切换、NAT(Network Address Translation)地址变化时,可通过连接迁移延续原连接,避免 MQTT 会话重建;确需重连时,持有会话票据的客户端可做 0-RTT(Zero Round-Trip Time)恢复,缩短握手等待。机器人穿过电梯、地库或跨 AP 漫游,是这类能力的典型受益场景。

但连接迁移不覆盖长时间断网或设备重启;网络限制 UDP 时,客户端还需回落到 TCP。因此持久会话、退避重连和业务恢复逻辑仍应保留。

换句话说,MQTT 提供了会话保持的机制,QUIC 在传输层减少了断连,但「断了要能自己回来」这件事,仍需要协议配置和客户端实现共同完成。

需求 2:关键指令要可靠送达

一条 OTA 通知、一个采集任务下发、一组云端生成的动作序列——这些消息丢了,轻则任务失败,重则设备状态错乱。

MQTT 的回应:三档 QoS。

QoS 0(At most once,至多一次):发出即结束,适合高频心跳,丢一次下一次就补上;

QoS 1(At least once,至少一次):通过 PUBACK(发布确认报文)确认,未确认则重发,可能重复;

QoS 2(Exactly once,恰好一次):通过 PUBLISH(发布)/ PUBREC(发布收到)/ PUBREL(发布释放)/ PUBCOMP(发布完成)四报文流程,在协议层面避免重复。

这里必须澄清一个常见误解:

QoS 保障的是相邻 MQTT 对等端之间的消息交付,不等于业务动作已经执行。 发布者收到 Broker 的 PUBACK,只说明 Broker 收到了;订阅设备是否收到、是否执行成功,需要设备应用层回执确认。

所以工程上常见的组合是:QoS 1 + 持久会话 + 业务侧幂等。即使偶尔重复收到,业务按 commandId(指令唯一标识)去重即可。

图 3:过期检查、幂等、业务回执和本地安全共同构成闭环。

需求 3:设备掉线,要能及时知道

上万台设备分散在各地,靠人工巡检或云端轮询判断「谁掉线了」,既慢又贵。

MQTT 的回应:遗嘱消息(Will)。

设备建连时预先向 Broker 登记遗嘱:如果异常断开,请代为发布。设备掉电、程序崩溃、网络中断后,Broker 会把遗嘱发到指定主题,运维平台订阅即可收到通知。

关于遗嘱消息的使用有以下补充:

探测时机取决于 Keep Alive。协议约定,当 Keep Alive 非零时,服务端通常在1.5 倍 Keep Alive 时间内未收到控制报文即认为连接超时;

MQTT 5.0 支持遗嘱延迟(Will Delay Interval)。但只有在延迟期间恢复了同一个存续会话,延迟遗嘱才会被抑制——只配置延迟而不给会话保留窗口,是达不到预期效果的;

正常断开不触发遗嘱。客户端主动发送 DISCONNECT(断开连接报文)时,Broker 不会发布遗嘱。如果希望正常退出也显示为离线,需要在断开前主动发布一条离线状态。

需求 4:状态要「一订阅就拿到」,而不是反复查询

运维平台需要随时看到每台设备的电量、在线状态、型号、固件版本。如果每次都发请求去查,设备越多,查询流量越大。

MQTT 的回应:保留消息(Retained Message)。

设备在状态变化时,发布一条带 retain 标记的消息,Broker 会保存该主题的最新一条。新订阅者一订阅就能拿到当前值,无需轮询。

这里同样有个精确性问题:retain 保存的是最新已知状态,而不是「实时状态」。它有采样滞后,建议消息体自带时间戳、版本号与有效期,让消费方能够判断数据新鲜度。另外,「在线状态」和「电量」是两个不同的事实,不应混在同一条消息里互相覆盖。

把遗嘱和保留消息结合,可以构建一套在线状态机:

1.

连接时登记遗嘱:状态主题 = offline(保留);

2.

连接成功后主动发布:状态主题 = online(保留);

3.

异常断开时,Broker 代发遗嘱,状态变为 offline;

4.

重新连上后,设备再次发布 online,覆盖此前状态。

注意:遗嘱一旦发出不会自动撤销,只能靠新的上线消息覆盖。

需求 5:一对多下发、多方订阅

一次 OTA 要通知某一型号的全部设备;一台设备的状态要被运维平台、数据平台、告警系统同时消费。

MQTT 的回应:发布/订阅 + 主题通配符。

主题按层级设计,例如 {业务线}/{机型}/{设备ID}/status。通配符「+」和「#」只能用于订阅,不能用于发布。

批量通知:让设备订阅具体的群组主题(如 fleet/gripper/ota),云端向该主题发布,一次覆盖全部目标设备;

灰度升级:向目标设备逐台发布,或显式维护一个灰度组主题;

后端汇聚:用通配符订阅(如 fleet/gripper/+/status)来聚合设备状态。

发送方和接收方完全解耦,新增一个消费系统,不需要改动设备端代码。

需求 6:海量设备、低功耗、低成本

具身数据采集设备很多是电池供电的可穿戴设备,需要长期在线、频繁上报。

MQTT 的回应:轻量的协议开销与单连接双向复用。

MQTT 的固定报头最小只有 2 个字节,一条长连接上下行复用,不需要像传统短连接那样反复建立连接。

不过这里也要避免过度简化:2 字节只是最小固定报头,实际报文还要包含主题、属性、payload,以及 TCP/UDP/IP 与 TLS 的开销。而 HTTP 同样支持持久连接与多路复用。所以具体的功耗和成本,需要结合无线唤醒策略、上报频率、QoS 等级和扇出规模,通过实际压测得出,不能用协议头部大小简单推导。

小结:MQTT 在具身智能里用到的关键特性

具身场景需求

MQTT 特性

弱网、移动、断线恢复

MQTT over QUIC

指令可靠送达

消息等级 QoS 1 / QoS 2、离线消息

避免执行过时指令

Message Expiry

设备失联感知

遗嘱消息

状态即订即得

保留消息

一对多下发、多系统消费

发布/订阅、通配符主题

请求-响应式调用

MQTT 5.0 Response Topic / Correlation Data

设备身份与权限隔离

X.509 证书双向认证、主题级授权

设备规模横向扩展

单连接双向复用、轻量报头

三、MQTT 在具身智能场景里具体做什么

讲完「为什么」,来看「做什么」。结合实际落地情况,MQTT 在具身智能领域主要承担五类任务。

场景 1:设备状态同步

设备周期性或在状态变化时上报电量、在线状态、设备型号、固件版本、VLA(Vision-Language-Action,视觉-语言-动作)模型版本等信息。云端运维平台据此掌握整个设备群的健康度。

用到的特性:QoS 0/1 上报、保留消息、遗嘱消息。

设计要点:状态消息携带时间戳与版本,消费方据此判断新鲜度;在线状态与业务遥测分开设计,避免互相覆盖。

场景 2:任务下发与遥操作编排

云端向机器人下发任务指令:导航到某个点位、执行某个动作序列、开始录制示教数据、回放已录制的动作。

这里需要划清界限:

本文讨论的「遥操作」指任务级编排,而不是用摇杆实时控制每一个关节。连续交互控制(如远程同步操作)需要单独预算时延、抖动与丢包,并必须保留本地安全闭环。

用到的特性:QoS 1、持久会话、MQTT 5.0 请求-响应。

场景 3:OTA 升级与模型下发

具身智能设备的固件、配置参数,以及更新频繁的 VLA 模型,都需要可靠、可控地推送到设备端。典型流程是:

1.

云端通过 MQTT 向目标机型下发升级通知(含版本号、包地址、校验值);

2.

设备从对象存储下载升级包;

3.

设备通过 MQTT 回报下载进度与升级结果;

4.

云端按结果决定是否扩大灰度范围。

控制与数据分离:MQTT 负责「通知」和「回执」,升级包本身走对象存储下载。

用到的特性:通配符订阅、QoS 1、结果回报。

场景 4:数据采集任务编排

这是近一年增长较快的场景。由于真机采集数据成本较高,「无本体数据采集」正在成为行业探索方向:采集员佩戴两指夹爪、头戴视觉设备完成真实作业,同步采集第一视角视频、位姿轨迹和触觉数据。

一条典型的数据采集链路走两条通道:控制面用 MQTT 承载设备状态、配置下发与任务管理;数据面用 HTTPS 把视频、位姿轨迹、触觉时序直传对象存储。

图 4:MQTT 编排任务与回报状态,HTTPS 直传 COS;具身专用处理由数据平台与算法工具完成。

这个架构的核心设计原则:

MQTT 编排任务与回报状态,文件传输走 HTTPS 直传 COS。

云端通过 MQTT 下发任务,并向设备发放短期有效、最小权限的上传凭证;设备持凭证直传 COS(Cloud Object Storage,腾讯云对象存储),传完再通过 MQTT 回报结果。MQTT 全程只传几百字节,却掌控着整个流程的编排、重试和状态追踪。

两个安全注意点:

不要在宽泛的主题里广播上传凭证。凭证应按设备单独下发,且有效期尽量短、权限尽量小;

上传完整性、任务对账与失败重试,由应用层实现。MQTT 只负责通知和状态回报,不保证文件传完。

为什么大文件不直接走 MQTT?因为 MQTT Broker 是为「小包、高并发」设计的,单条数十 MB 级消息会挤占整个集群的吞吐,影响所有设备的心跳与指令。让每种协议做它最擅长的事,是大规模系统稳定运行的前提。

用到的特性:QoS 1、保留消息(任务参数)、MQTT 5.0 请求-响应。

场景 5:失联感知

当设备意外离线时,云端需要及时感知并做出反应:告警、暂停对该设备的任务分派、通知现场人员。遗嘱消息让这件事的实现成本大幅降低。

一个重要的边界:云端的失联告警,不能替代本地的安全机制。

本体的看门狗、急停、安全控制器与安全降级逻辑,应当根据风险分析独立实现,不能依赖 MQTT 遗嘱或公网回执来触发。

公网链路存在固有的不确定性;而具身设备涉及物理动作,安全相关的能力必须在本体侧闭环。MQTT 的遗嘱机制解决的是「云端如何知道设备失联」,不是「设备失联时如何保证安全」。

四、腾讯云 MQTT:面向规模化具身智能设备的消息队列

腾讯云消息队列 MQTT 版(TDMQ for MQTT)是一款分布式、高可用的 MQTT 消息服务,服务于车联网、物联网和具身智能等场景。面向具身智能场景,它提供以下核心能力。

1. 标准协议兼容

支持 MQTT 3.1、3.1.1 和 5.0 协议,提供 TCP、WebSocket 与 QUIC 三类接入点,开源社区与主流的多语言客户端(Java、C/C++、Go 等)可以复用。已支持 MQTT 5.0 遗嘱延迟(Will Delay),可用于过滤短暂网络抖动引起的误告警。

对于原本使用自建开源集群的团队,可以迁移到云上托管服务,把维护 Broker 的精力释放出来,专注于机器人本身。

2. MQTT over QUIC:面向弱网与切网

QUIC(Quick UDP Internet Connections)运行在 UDP 之上,把丢包恢复、拥塞控制、流量控制从内核搬到用户态,并将 TLS 1.3 直接融入握手流程。腾讯云 MQTT 已正式商业化支持 MQTT over QUIC,默认全面开放,与现有 TCP / WebSocket 接入点并行提供,不需要二选一:

协议兼容:兼容 MQTT 3.1 / 3.1.1 / 5.0,由客户端发起连接和创建 Stream,QUIC 只替换传输层,不改变 MQTT 语义;

连接迁移:连接身份由独立的 Connection ID 维护,而非 IP 与端口四元组。Wi-Fi 与蜂窝切换、NAT 地址变化时连接不需重建,加密上下文、拥塞控制状态与 MQTT 会话全部保留;

握手优化:首次建连 1-RTT(One Round-Trip Time,一次往返时延),持有会话票据的客户端重连可做 0-RTT。链路 RTT(Round-Trip Time,往返时延)越大收益越明显——同城内网接入收益有限,跨公网、跨地域、移动网络接入才真正显现;

传输层无队头阻塞:丢包恢复与流量控制在 Stream 粒度独立进行。当前实现将一条 MQTT 连接映射到一条双向 Stream,已消除物理丢包导致的传输层单点阻塞;将控制流与高低频业务流隔离到不同 Stream 的「业务级无阻塞」是后续演进方向;

默认全加密:TLS 1.3 内置于握手流程,无明文通道,无需额外设置;拥塞控制运行在用户态,可按场景调整,不受设备内核版本制约;

客户端 SDK:当前提供 C、C++、Java、Android 四个平台(基于 paho.mqtt.c / paho.mqtt.cpp / hivemq-mqtt-client 适配)。

什么场景值得上。 具身智能里最契合的是具身机器人与可穿戴采集设备:园区跨 AP(Access Point,无线接入点)漫游、边缘弱信号区、设备一直在动——弱网不是异常状态,而是常态。此外跨地域远控设备、周期性休眠的低功耗终端也能明显受益。

3. 海量连接与规格弹性

支持百万级客户端同时在线,实例规格可按业务增长在线升级,适应具身智能企业阶梯式增长的业务节奏——一次新产线投产、一个新业务上线,连接数可能短期内大幅增长。

4. 企业级安全体系

X.509 证书双向认证(mTLS,Mutual Transport Layer Security,双向传输层安全):设备与服务端双向验证身份,抵御伪造设备接入(一机一证等能力有实例版本要求);

自定义认证:支持对接自有的 HTTP 鉴权服务,复用已有账号体系;

令牌身份校验:可基于令牌中已签名的身份字段(如 sub)做权限判断;

主题级授权策略:按客户端、IP、主题配置允许或拒绝规则,实现设备间权限隔离。

在「控制指令可能驱动物理设备」的具身场景下,这套安全能力是规模化部署的前提。

5. 多地域部署

目前腾讯云 MQTT 产品支持国内以及海外主要地域,便于具身智能企业「国内研发、海外交付」的业务布局,让海外设备就近接入、降低时延。

6. 开箱即用的可观测性

控制台提供连接、消息、认证与授权等监控指标,并对接腾讯云监控与告警;QUIC 连接数等指标也已接入监控;

支持消息查询和轨迹追踪,方便定位设备接入与投递问题;

支持按主题前缀聚合监控,按业务线查看流量趋势,无需自建 Prometheus + Grafana 监控体系。

7. 与腾讯云产品深度协同

具身智能的数据链路天然是「控制面 + 数据面」的组合。腾讯云 MQTT 可与对象存储 COS、数据万象 CI 等产品协同:MQTT 管设备与任务编排,COS 承载海量采集文件与清单管理,数据万象提供视频截帧、转码等媒体预处理能力。

这条链路的边界也很清楚:轨迹重建、跨模态时间同步、触觉质检与具身数据标注属于具身领域的专用处理,通常由企业自研算法或专用工具完成。 云产品负责把数据稳稳接进来、存下来、做好通用预处理,让团队把精力集中在真正有壁垒的算法环节。

五、客户实践

腾讯云 MQTT 已在多家具身智能企业落地,覆盖人形机器人、数据采集、消费级陪伴机器人、商用服务机器人等方向。

案例一:人形机器人企业 · 机器人与数采设备统一接入

客户背景:国内领先的人形机器人企业。为解决具身训练数据稀缺、真机采集成本较高的问题,该企业孵化了无本体数据采集业务,在全国多地建设数采工厂,并推出众包采集模式。

解决方案:基于腾讯云 MQTT 按业务划分建设多个独立实例,实现故障域隔离:

机器人接入集群:承载人形机器人接入,由原自建开源产品迁移上云,实现机器人遥操作与状态同步、模型更新与 OTA 升级;

数采设备集群:承载数采设备接入,支撑全国数采工厂及新上线的众包采集业务,实现采集设备统一运维监控、OTA 升级、采集任务下发与回传。

案例二:消费级陪伴机器人企业 · 多地域部署

客户背景:专注消费级家庭陪伴机器人,产品销往国内及海外市场。

解决方案:在多个海外地域与国内地域部署多个 MQTT 实例,承载机器人心跳及状态指令下发,海外用户的设备就近接入。

案例三:具身数据基础设施企业 · VLA 模型云端下发

客户背景:具身智能数据基础设施提供商,主营真机数据采集。

解决方案:建设生产、测试、UAT 三套环境,通过 MQTT 5.0向数采机器人推送模型更新通知与控制指令,模型文件本身经对象存储分发,设备执行结果经 MQTT 回报。

此外,食品加工机器人(航空配餐、原材料处理)、饮品制作机器人等商用服务机器人客户,也正在基于腾讯云 MQTT 进行测试与验证。

六、结语

具身智能场景底层离不开一套可靠的「连接与管理」基础设施。在这套基础设施里,各类协议各守其位:实时控制管关节,机内中间件管协作,WebRTC 管音视频,对象存储管海量数据,而 MQTT 管住「机器人与云之间」这条需要规模化、长期在线的协同链路。 当设备从一百台走向一万台、从一个城市走向多个地域,设备协同能力就是必须先打好的地基。

往期

推荐

《AI Registry:给企业 AI 资产办一本 “户口”》

《MQTT over QUIC 正式商业化:让弱网连接更稳、更快》

《8 月产品月报|MQTT 支持 QUIC 协议,弱网、跨网连接更稳定,消息查询与轨迹、客户端能力全面增强》

《AI 网关可观测体系:让大模型调用看得见、查得到、审得清》

扫描下方二维码关注本公众号,

了解更多相关产品信息!

 戳原文,查看消息队列 MQTT 版的信息!

阅读原文

跳转微信打开

  •  

AI Registry:给企业 AI 资产办一本 “户口”

刘益鹏 2026-10-27 11:00 陕西

MCP 服务在哪、Skill 谁写的、Agent 归谁管 — AI Registry 让企业 AI 资产看得见、管得住、用得好。

AI 资产越堆越多,最先失控的是哪一步?MCP 服务、Agent、Skill 怎么接进来、管起来、让别人用得上?现已上线哪些能力?不同行业的客户都是怎么用起来的?

导语:一个把技术负责人问住的问题

一家大型保险集团的技术负责人,最近被问住了:集团里到底有多少个 Agent?

过去一年,理赔、承保、客服、风控各自建了智能体,用的平台也不尽相同。真要做一次盘点,最基础的三个问题反而卡住了——现在有哪些 MCP 服务?每个 Agent 究竟能做什么?某个能力改一行,会牵动谁?答案散落在代码、Prompt 和几场口头对齐里。

做出一个 Agent 从来不是难事。难的是做出来之后:别人找不着,自己说不清,改一次要挨个去通知,这种情况规模化上生产环境,将会是个 AI 资产管理噩梦。

用个更直白的比喻——这些 AI 资产像是一群 没上户口的居民:住在哪、能干什么、谁负责,全靠口口相传。规模一上来,几乎每家企业都会卡在同一组问题上:

  • MCP 服务分散在各团队,谁在提供、是否健康、谁能调用,没有统一清单;

  • Agent 越做越多,能干什么、依赖什么说不清,协作只能靠口头对齐;

  • Skill 重复建设,验证过的能力换个团队还要再写一遍。

这道题的解法不是再造一个平台,而是先有一份说得清的目录:谁手上有什么、能干什么、改了会牵动谁。

腾讯云 AI Registry 做的,就是这份目录——给 MCP 服务、Agent、Skill 办一本共同的 “户口”,以及它背后那套管到底的治理。

一、AI 资产的三个“失控时刻”

企业建 AI 能力,基本都绕不开这三步。出问题的时间点,也惊人地一致。

第一个时刻:工具接进来了,却没人管

企业真正的业务能力,大多沉淀在 ERP、CRM、审批流这些存量系统里。把它们转成 MCP 服务不难,难的是转完之后——服务散在不同团队和环境,注册在哪、实例是否健康、谁能调用,谁都说不清。接进来,只是第一步;接进来之后没人管,才是失控的开始。

第二个时刻:Agent 说不清自己能干什么

Agent 多了之后,最常被问的一句是 “这个 Agent 能干什么”。能力边界、依赖哪些 Skill、支持什么协议,如果只写在代码和 Prompt 里,别人要用就得先去问作者。跨团队复用,也就无从谈起。一个 Agent 如果只能由它的作者来解释,它就还不是一项资产。

第三个时刻:Skill 被一次性消耗掉

Skill 一旦成为能力载体,就不再是改完即走的一段脚本。改坏了怎么退回上一版?下线之前该通知谁?别人踩过的坑,怎么让第二个团队不必再踩?

这些决定了能力是 沉淀下来,还是 被一次性消耗掉。

三步走下来,缺的是同一件东西:把 AI 资产当资产来管——有目录、有档案、有版本、有状态、有权限。说白了,就是一本能查、能管、能追责的户口。

二、腾讯云 AI Registry:登记即纳管,调用即可控

腾讯云 AI Registry 做的事,一句话就能说完:给 MCP 服务、Agent、Skill 建一份共同的目录,并且管到底。注册、发现、版本、状态、权限,都在这里完成。

在这之前,先说清楚它和别人不太一样的三件事。第一,它不是从零搭起来的。 背后站着腾讯云在微服务时代跑了多年的服务注册、健康检查与动态推送能力。服务治理这件事,我们已经做了很多年,今天只是把对象从 “微服务” 换成了 “AI 资产”。第二,它不绑任何智能体运行时。 很多人熟悉的注册中心,其实是某个运行时里的内置模块——出了那个平台就管不着,能治理到什么程度,还得看运行时的脸色。AI Registry 是独立形态:不管 Agent 用什么框架写的、跑在哪个平台上,按 A2A 标准注册进来就行;要做私有化部署,分量也很轻。第三,它不止于一份清单。 调用链路上的治理能力——路由、鉴权、限流、熔断、灰度——联动 AI 网关去完成。两边产品是打通的:资产在注册中心登记完,网关侧立刻就能管到它的调用。登记即纳管,调用即可控。

(图 1:腾讯云 AI Registry 能力全景——三类 AI 资产纳入同一套目录)

2.1 MCP 服务管理:让存量系统零代码上户口

MCP 服务:让存量系统一行代码不改地进来。

真正的门槛在存量。ERP、CRM、审批流这些跑了多年的 HTTP 服务,才是企业能力的主体;要让 Agent 调得动它们,前提是别让业务系统跟着改一遍代码。

腾讯云 AI Registry 的做法是:原生 MCP Server 可以直接注册;存量 HTTP 服务配一次协议转换,就成了 MCP 服务。 值得一提的是,登记只是顺带的结果——协议转换、端点收敛、Tool 同步、实例探活是连着一起做的,服务进来那一刻就已经在纳管之中,而不是目录里多一条记录。

进来之后,日常要盯的就两样:Tool 和实例。Tool 参数支持五种类型,启用禁用即时生效,不用重启;实例由注册中心一直探着活,出了问题自动摘掉,恢复了自动接回来,也可以手动隔离下来慢慢查。

目录一旦被多个团队共用,边界就绕不开。命名空间按团队和环境隔开,权限能授到具体的人和组。落到每个服务头上,端点、Tool 清单、健康状态、负责人 四样就都齐了。录入也不靠手敲:控制台之外,REST API 和 Java SDK 都能用,注册可以直接写进 CI/CD 或者自研平台里。

(图 2:MCP 服务管理链路——从注册纳管到健康检查,让存量系统能力进入 AI 调用体系)

2.2 Agent 管理:每个智能体都有一份会自己保鲜的档案

Agent:留下一份能自己保鲜的档案。

登记一个 Agent 的花销很小:填服务地址、版本和能力声明就够了。Java 技术栈另有 SDK,注册逻辑不用自己动手写。

登记完只是个开始,真正值钱的是那份档案。系统按 A2A 标准自动生成 AgentCard,写清这个 Agent 能做什么、挂了哪些 Skill,同时给出标准的发现接口。

更难得的是 它会自己保鲜 ——挂载或替换 Skill、注册信息变更,档案跟着同步更新;创建时还会存一份服务信息快照(svcSnapshot),后端扩缩容、迁移,都不会让已经发出去的档案失真。挂载 Skill 遵循 “只减不增”:已经声明的能力,不会被后台的某次变更悄悄扩张。这一层约束,多数只做登记的资产目录类产品是直接跳过的。

档案是静态的,还得看得见此刻跑得怎么样:实例健不健康、是哪个版本、部署在哪,都能查能筛,异常自动下线、恢复后重新加入。边界由命名空间和授权划开,权限改了立刻生效。档案统一了,Agent 之间才有互相发现、互相调用的基础。

(图 3:Agent 管理与 AgentCard——以标准能力描述让智能体被看见、被发现)

2.3 Skill 管理:把一段脚本变成可分发的资产

Skill:让一段脚本变成别人也能用的资产。

入口放得很低:填个表单,或者扔一个带 SKILL.md 的压缩包上来,系统自己解析回填。

进来之后就得管得住。每次发布自动留一份版本快照,随时可查可回滚;状态走 草稿、在线、离线三态 ——草稿只有作者自己看得见,在线才允许被挂载,可见范围还能再分三档。

最容易被漏掉的是下线:删之前先把关联的 Agent 名单列出来,影响面看清楚再动手。这种 “改之前先看影响” 的动作,恰恰是多数资产目录类产品缺的一环。

沉淀不是终点,用起来才是。通过 SkillHub,验证过的 Skill 可以被全员搜索、下载复用,也能随时下架;REST API 和 Java SDK 让复用直接嵌进 CI/CD,不用靠人工拷来拷去。

到这一步,Skill 才算从 “改完即走的一段脚本”,变成 能版本化、能分发、能复用的资产。

(图 4:Skill 管理全链路——从创建、版本、状态到分发复用)

三、AI Registry 客户落地实践

某大型保险集团:全集团级 AI 资产统一治理

这家集团的 AI 建设是典型的 “先分散、后收敛”:理赔、承保、客服、风控各自建了智能体,形态也不同——IT 团队自研的是高代码智能体(Java 技术栈),跟着业务系统一版版迭代,只想随发布自动登记,不想每次上线再补一遍信息;各业务方还在不同平台上搭了一批,散在各处,没人说得全。集团手里还有大量承保理赔类存量系统,业务方想让 Agent 调得动,又不接受大改造。还有两条硬要求摆在那儿:权限体系必须和现有私有云对齐,注册中心不能绑死在一家厂商身上。

落地分四步走:

  • 第一步,存量系统不写一行代码转成 MCP 服务,统一登记进 MCP 注册中心;

  • 第二步,Agent 分两条路——已经建好的按 A2A 标准注册、AgentCard 自动生成,IT 自研的高代码智能体则接入 Java SDK(Spring AI),跟着应用启动自动注册和心跳;

  • 第三步,Skill 过三态审核后,由 SkillHub 发到全集团;

  • 第四步,与 AI 网关联动,把登记变成可控的调用。

四步走完,集团第一次拿得出一份能回答 “有多少资产、谁能用、改了影响谁” 的清单。

某头部车企:多平台 Agent 的统一纳管

研发、制造、营销三条线并行建智能体,各用各的平台,谁也不知道别人手上有什么。客户要的不是推倒重来,而是 在不绑定任一开发平台的前提下,把 Agent 统一管起来。

独立形态在这里成了决定性的一条:不依附任何运行时,按 A2A 标准注册就行。三条线该怎么开发还怎么开发,登记之后彼此看得见、调得动,谁也不用迁就谁。

某物流央企:集团级 Skill 沉淀与复用

各业务单位都在做自己的智能体,重复建设很扎眼——同一类单据处理、航线查询,几个单位各写了一遍。集团的想法很朴素:验证过的能力,能不能别每次从头写。

Skill 注册中心接的就是这件事:版本化存着,每次发布自动留快照、随时能回滚;状态走三态,可见范围分三档;再通过 SkillHub,一个单位验证过的 Skill,别的单位直接拿来用。能力从 “谁写谁知道”,变成 “全集团可查可复用”。

三个场景起点不同,但收敛到同一条路径:先把存量资产接进来,再让新建资产有档案可查,最后让沉淀的能力能被分发复用。 这也是判断一个注册中心能不能真正用起来的三个观察点。

四、能力全景:七类能力,现已全部上线

已经上线的能力,可以按这七类来读:

能力模块

对应产品能力

统一注册与资源纳管

三类资产统一注册、存量 HTTP 零代码转 MCP、命名空间隔离

协议标准化与能力描述

AgentCard 自动生成、A2A 标准、服务信息快照自维护

生命周期与版本管理

三态状态机、版本快照与回滚、下线前关联影响分析

健康与实例管理

健康检查与探活、异常实例自动下线、实例隔离

权限与可见性

用户与用户组授权、可见性三档、草稿强制私有

分发与复用

SkillHub 发布与下架、REST API 与 Java SDK

可观测

MCP 与 Agent 调用监控、实例健康监控

以上能力现已全部上线,可在腾讯云控制台开通使用。其中 存量系统零代码转 MCP、AgentCard 自维护、变更前的关联影响分析,是多数只做登记的资产目录类产品尚未覆盖的部分。

五、现在,给 AI 资产办第一本户口

企业 AI Agent 建设演进,其实最后拼的是治理。当 MCP 服务、Agent、Skill 的规模一路往上走,每项能力能不能 “找得到、说得清、管得住”,决定了 AI 建设是在 攒资产,还是在 反复交学费。

如果正在做注册中心的选型,建议先问三个问题:

  1. 能不能纳管 存量资产,而不只是登记新建的?

  2. 跟运行时是不是 解耦 的,会不会绑死在一家平台上?

  3. 登记之后能不能变成 可控的调用,还是止步于一份清单?

如果已经开始用,我们建议按这三个动作起步,成本最低、见效最快:

  • 先盘存量:把已在跑的 HTTP 服务配一次协议转换,登记进 MCP 注册中心,让存量能力先 “有户口”;

  • 再管新增:新建 Agent 按 A2A 标准注册,AgentCard 自动生成,Java 技术栈可直接接入 SDK,随应用启动自动登记与心跳;

  • 最后做复用:把验证过的 Skill 收进 SkillHub,让第二个团队不必从头再写一遍。

一本户口的价值,不在于登记那一刻,而在于此后每一次查询、每一次变更、每一次复用,都有据可依。


阅读原文

跳转微信打开

  •  

MQTT over QUIC 正式商业化:让弱网连接更稳、更快

龚再冉 2026-09-22 17:00 陕西

无论是终端失联窗口,还是服务端重连,都可以得到显著缩减。

一辆车从地面驶入隧道,网络从 5G 掉到 4G,再掉到无信号,出隧道又切回 5G。整个过程 40 秒。

在车端日志里,这 40 秒是这样的:TCP 连接在信号衰减时卡在重传与内核超时退避里;等系统终于宣布连接死亡,车端 SDK 才开始重连——TCP 三次握手加 TLS 握手,在刚恢复的弱信号下又是若干次往返。加起来,这辆车有 8 秒 左右处于「物理上有网、业务上失联」的状态。

更麻烦的在服务端:早高峰时段,几千辆车先后穿过同一段隧道,然后几乎同时向 Broker 发起重连。每次重连都要完整握手、鉴权、恢复订阅关系、清理旧连接状态。

腾讯云消息队列 MQTT 版正式商业化支持 MQTT over QUIC。终端侧的失联窗口和服务端侧的重连风暴,都可以被显著压缩。

QUIC 是什么

QUIC(RFC 9000)是由 Google 发起、经 IETF 标准化的传输层协议,运行在 UDP 之上,同时也是 HTTP/3 的底层传输协议。它把 TCP 在内核中做的事——丢包恢复、拥塞控制、流量控制——搬到了用户态,并将 TLS 1.3 直接融入握手流程:QUIC 连接默认全加密,不存在明文通道。今天,全球主流浏览器、CDN 与大型网站已大规模部署 QUIC,它是过去十年间公网验证最充分的新传输协议。

不是 TCP 不行,是 TCP 的前提不成立了

TCP 诞生在有线网络时代,它的核心假设是—— 丢包意味着网络拥塞 。所以 TCP 检测到丢包时的正确反应是降速、退避、等待。这个假设在数据中心里成立了三十年。

但在移动网络里,丢包的主因不是拥塞,而是无线信道的物理特性:信号衰减、多径干扰、基站切换。这时候降速退避是完全错误的动作——网络其实还有带宽,只是刚好丢了几个包。

这个错配,在 MQTT 场景下具体表现为三个结构性问题。

一、重连代价高:每次断连都要从头来

TCP 连接的身份是四元组——源 IP、源端口、目的 IP、目的端口。车从 5G 切到 Wi-Fi,IP 变了, 这条连接在协议层面已经死了 ,无论上层业务是否愿意。必须重新建连、重新握手、重新 CONNECT、重新恢复订阅关系。

在 TCP + TLS 下,一次重连至少需要 2 到 3 个往返才能完成握手,叠上弱信号下的高 RTT,就是用户感知到的那几秒失联。

二、队头阻塞:一个包丢了,后面全等着

TCP 提供的是 单一有序字节流 。如果第 100 个包丢了,即使第 101 到 150 个包已经完整躺在接收端缓冲区里,应用层也拿不到——必须等第 100 个包重传成功。

MQTT 是多主题并发的协议。一辆车可能同时在上报高频车身状态、低频故障码、以及大块日志。在 TCP 眼里这是同一条字节流, 任何一处丢包,全部业务一起等 。

业务侧的常见解法是开多条 TCP 连接按优先级分流。代价是连接数翻几倍,Broker 侧连接管理成本和车端电量消耗同步上升。

三、故障发现慢:内核说了不算,但只能听内核的

TCP 连接状态由操作系统内核维护,应用层无法干预它的超时判断。弱网下内核可能坚持重传十几秒才放弃,这段时间应用层完全不知道自己已经事实断连。

MQTT 的 Keep Alive 可以缓解,但心跳周期通常设在 30 到 600 秒——设短了流量和功耗上升,设长了发现不及时。

QUIC 的核心特性

一、连接与 IP 解绑:连接迁移

QUIC 连接的身份不是五元组,而是通过一个独立的 Connection ID 维护会话。IP 从 5G 地址变成 Wi-Fi 地址、或者被 NAT 悄悄换掉,Connection ID 不变,连接不需要重建——加密上下文、拥塞控制状态、MQTT 会话全部保留,应用层甚至可以完全无感知,在 MQTT 场景下基于连接迁移恢复会话,避免业务层有状态协议会话如 MQTT Session 会话重建。这是本次升级中最关键的一条能力。

二、握手更快:首次 1-RTT,重连 0-RTT

TCP 加 TLS 建连需要 2 到 3 个往返(TCP 握手 1 次,TLS 握手 1 到 2 次);QUIC 把传输握手与 TLS 1.3 握手合并,首次建连只需 1-RTT 。如果客户端持有服务端此前下发的会话票据,重连可以做到 0-RTT ,节省握手开销。

链路 RTT 越大,少一次往返的收益越明显:设备在同城内网接入时收益有限,跨公网、跨地域、移动网络接入,收益才真正显现。

三、多路复用,缓解传输层队头阻塞

QUIC 的丢包恢复和流量控制在 Stream 粒度独立进行,一个 Stream 的错误不会阻塞同一连接上的其他 Stream。当前主流实现是将一条 MQTT 连接映射到 一条双向 Stream 上,QUIC 极大地消除了因物理丢包导致的传输层单点阻塞,而真正的"多 Stream 业务级无阻塞"(将控制流、高低频业务数据流隔离到不同 Stream)彻底消除队头阻塞将是我们接下来的演进重点。

四、默认全加密,拥塞控制可按场景调整

TLS 1.3 内置于握手流程,提供端到端加密,无需额外设置与开销。同时,拥塞控制运行在用户态,可以按业务场景调整,不必等待设备操作系统内核升级,也不受设备 TCP 栈版本的制约。更优秀的丢包处理算法和拥塞算法,让 QUIC 在弱网环境下比 TCP 有更稳定的表现。

我们这次商业化提供了什么

能力

说明

MQTT over QUIC 接入

与现有 TCP / WebSocket 接入点 并行 提供,不需要二选一

协议兼容

兼容 MQTT 3.1 / 3.1.1 / 5.0,QUIC 只替换传输层,由客户端发起连接和创建 Stream,不改变 MQTT 语义

握手优化

首次 1-RTT,重连支持 0-RTT 会话恢复

传输层无队头阻塞

Stream 级独立丢包恢复与流量控制,有效降低数据丢包率

安全加密

TLS 1.3 内置于握手流程,QUIC 无明文通道,带来更好的安全性

可观测性

QUIC 连接数等指标接入腾讯云 MQTT 监控大盘,持续迭代可观测性

如何接入

第一步:零门槛,开箱即用

MQTT over QUIC 能力现已为您 默认全面开放 !只需登录 TDMQ MQTT 版控制台:https://console.cloud.tencent.com/mqtt 开通服务,即可一键解锁新一代物联网传输体验。

第二步:主流 SDK 生态,无缝平滑升级

为了让您的底层架构平滑过渡,我们已适配主流开发语言。根据您的业务架构,将客户端替换为以下 SDK 即可完成 QUIC 改造:

  • 开通路径 :MQTT over QUIC 现已默认开放,如需体验可前往,开通服务后开箱即用。

  • 客户端 SDK :当前提供 C、C++、Java 及 Android 的 MQTT over QUIC SDK,可根据业务场景选择使用。

推荐使用 MQTT over QUIC 的场景

车联网

汽车在行驶中面临高频切网(如进出地库的 5G/Wi-Fi 切换)、上下行并发等复杂工况。QUIC 的重连更快、弱网更稳,连接迁移能确保切换不断连,同时其高效的重连机制能大幅削平海量车辆同时掉线带来的"重连风暴",直接降低车企服务端扩容成本。

低空经济与移动机器人(无人机/AGV/穿戴设备等)

这类设备通常在园区跨 AP 漫游或处于边缘弱信号区,信号不稳定是常态。QUIC 优秀的弱网抗丢包算法和无队头阻塞特性,能有效缩短失联窗口,保证控制指令的实时性和业务连续性。

跨公网/跨地域远控物联网设备接入

涉及跨国出海设备接入、偏远地区长链路传输。在长链路下 RTT 天然较大,传统 TCP+TLS 握手需 3-4 个 RTT,而 QUIC 可降至 1-RTT 甚至 0-RTT,极大提升了远程指令下发和数据上报的响应速度。

低功耗泛智能终端

针对周期性休眠但需要保持长业务会话的设备(如智能抄表、智能门锁等),QUIC 的 0-RTT 特性让设备唤醒后的握手开销和等待时间大幅下降,进而减少射频模块工作时间,实现显著的设备端节能。RTT 越大,少一次往返的收益越明显。

如果您正在做的 车联网、移动机器人,或任何一个「设备一直在动」的场景,QUIC 接入值得放进评估清单 — 弱网不是异常状态,是物联网的常态。

欢迎在评论区或加入下方交流群,沟通更多详细使用场景。


阅读原文

跳转微信打开

  •  

AI 网关可观测体系:让大模型调用看得见、查得到、审得清

AI 网关 2026-08-19 10:00 陕西

Token 花在哪、慢在哪、出错怎么查 - 大模型上线后的三道"看不见"难题,都要在网关层一次解决。

企业把大模型接入生产后, “能调通” 解决了可用性, “能兜住” 解决了连续性,但紧接着就是第三道难题—— 看不见 。Token 花在哪了、慢在哪了、出了问题怎么查,这三个问题在大模型场景下没有现成答案。AI 网关把监控、日志、追踪三大支柱沉到网关层统一采集,业务方不需要改一行代码,就能获得 Token 级的用量洞察、请求级的延迟拆解、以及全链路的调用追踪。

一、用户场景:大模型调用 “看不见” 的三种痛

延续金融场景——AI 平台团队把混元、DeepSeek、Claude 多家模型统一接入 AI 网关后,智能路由和业务连续性已经跑起来了,但 运营阶段的新问题接踵而至 。

AI 网关可观测能力的 “使用者” 通常不是单一职能,而是 运维、安全、财务、业务、技术 多个角色使用。大家关注点各不相同,但都指向同一个问题: 大模型上线后能不能像传统应用一样被 “看见、查清、追透” 。

角色

核心关注

典型问题

对应可观测能力

AI 网关实现

CTO / 技术决策者

平台稳定性和风险可控

“大模型出了故障能多快恢复?会不会影响业务?”

Fallback 触发率 · 错误码分布

LLM 监控大盘 + 自动降级

运维负责人

排障效率和值班压力

“凌晨告警我能不能远程 10 分钟定位,而不是到机房翻日志?”

TraceId 串联 · CLS 检索

全链路追踪 + 结构化日志

财务 / 成本管控

Token 花费透明可追溯

“这个月 Token 花了 50 万,到底是谁花的、花在哪了?”

按消费者/模型/时间段拆分

多维用量统计 + 成本单价

安全合规

审计留痕和追溯

“等保测评时能不能拉出每一次模型调用的完整记录?”

请求/响应/Fallback 路径

审计日志 + 合规留存

业务方

AI 服务体验稳定

“为什么我的智能客服今天特别慢?能告诉我原因吗?”

TTFT / TPOT 延迟

Token 级延迟指标

无论是哪个角色,本质诉求一致—— 让大模型调用从 “黑盒” 变成 “白盒” 。AI 网关可观测把 Metrics、Logs、Traces 三大支柱沉到网关层统一采集,让每一笔 Token 消耗、每一秒延迟、每一次调用链路,都必须可观测、可查询、可审计。

二、产品功能:监控 + 日志 + 追踪三位一体

AI 网关可观测体系基于 Metrics / Logs / Traces 三支柱架构 ,针对大模型场景做了深度定制—— 不只看 HTTP 层的 QPS 和延迟,而是下沉到 Token 级、模型级、消费者级 。核心功能包括:

  • 监控大盘 :全局概览 + LLM 模型监控 + MCP 工具监控,支持按模型服务、消费者、时间段等多维度下钻。

  • CLS 结构化日志 :使用 CLS 日志,遵循 OpenTelemetry 语义约定, 一条 CLS 查询即可定位慢请求、错误请求、Fallback 链路 。

  • 全链路追踪 :每个请求进入网关时生成或继承 W3C 标准 TraceId,贯穿日志与监控维度,支持按 TraceId 在 CLS 中精确关联路由命中、模型响应、工具调用和 Fallback 记录。

  • 审计日志 :完整记录调用者、时间、模型/路由、请求体、响应体、Fallback 触发原因与切换路径,支持配置留存周期, 满足金融/政务合规要求 。

三、实战案例:一次从 “账单异常” 到 “链路审计” 的端到端排查

真实运维中,成本、性能、链路三类问题很少孤立出现,往往在同一次故障中交织叠加。下面用一次完整案例展示三件套如何协同闭环。

故障现象: 周三早上同时收到两个告警—— 本周 Token 消耗比上周增长 60%,客服 Agent 响应时间从 3 秒飙到 8 秒以上 。

排查闭环:

步骤

工具

动作

结果

① 定位异常范围

LLM 监控大盘

按消费者维度查看 Token 消耗 + TPOT + Fallback 趋势

客服团队 Token 从 2 万飙到 8 万;DeepSeek TPOT 从 50ms 飙到 180ms;Fallback 每天上千次

② 下钻定位根因

CLS 日志查询

按消费者 + 模型 + Fallback 过滤,统计错误类型和延迟

DeepSeek 返回 429 占 78%(供应商配额打满);Fallback 到的备用模型平均延迟 12 秒

③ 串联审计

TraceId 追踪

按 TraceId 检索完整链路

完整还原每条调用链:路由 → 模型 → Fallback 切换 → 协议转换 → 响应,导出审计报告

④ 修复验证

监控大盘

调整 Fallback 链(备用模型换成内网混元)+ 提升 DeepSeek 配额

TPOT 恢复 55ms,Fallback 下降 90%,Token 日耗回落 2.5 万

从告警到根因、从根因到审计、再到修复验证——整个闭环快速完成 ,这正是三件套协同的价值。

(端到端排查闭环示意图)

四、技术实现

AI 网关 天然处在所有模型和 MCP 流量的必经之路 ,可以在一次请求的不同阶段完成数据采集:请求进入时建立 Trace 上下文;路由转发时记录模型、消费者与策略信息;响应完成时统计 Token、延迟和结果;最后在 Log 阶段生成结构化记录,通过独立采集组件上报。

(可观测体系架构图)

技术难点不是 “多打一行日志” ,而是 同时满足四个要求 :不改业务代码、尽量不增加请求延迟、不同模型使用同一套数据口径、观测链路异常时不能影响正常调用。下面分别介绍四条采集链路,以及两个关键工程设计。

4.1 四条采集链路

  • 指标链路(Metrics) :请求结束后更新 Prometheus 时间序列(请求数、Token、模型耗时、Fallback 次数、MCP 调用等),使用独立的 ai_llm_* 和 mcp_* 指标族,带有模型、消费者、路由等标签。conf-agent 定时拉取并上报云监控,用户也可接入自建 Prometheus。 指标侧只保留适合聚合的有限维度,高基数内容进入日志链路。

  • 日志链路(Logs) :日志插件在请求结束后汇总路由、代理、响应各阶段上下文,交由 OTel Adapter 做语义转换。LLM 与 MCP 日志按场景隔离,各自拥有独立队列和日志主题。 格式转换失败时生成最简骨架日志并保留原始信息,绝不丢弃。

  • Trace 链路(Traces) :请求进入网关时解析 W3C 标准 traceparent( 00-{TraceId}-{SpanId}-{Flags} ),继承上游 TraceId 或生成新的,写入日志和监控维度,并通过 traceId 返回调用方。

  • 基础设施链路 :在 AI 指标之外建设基础设施监控,采集底层网络流量、带宽和容器系统指标,按容器标识分片采集。 排查时可逐层收敛 :端到端延迟 → 模型侧耗时 / TPOT → 网关代理耗时 / CLB 带宽 / 节点负载。

(请求链路数据流图)

4.2 性能与资源控制:可观测不能成为新的瓶颈

严格来说,任何观测能力都会产生开销,工程目标不是宣称 “零开销” ,而是 让它不进入模型转发的阻塞路径 ,并把 CPU、内存、磁盘和指标基数控制在明确边界内。

第一层:请求路径只做轻量计算,不做同步网络上报

日志处理发生在底层网关的 Log 阶段。此时上游响应处理已经结束,同步部分只完成上下文读取、OTel 字段映射、JSON 编码和内存入队, 不会在这里进行数据上传,也不会逐条同步写磁盘 。日志处理的逻辑限制只提取请求、响应、延迟以及 LLM、MCP 等必要字段,避免为指标生成一份完整访问日志。高频计数优先通过共享内存中的原子自增完成,再由定时器批量汇总。部分聚合使用 “当前周期写入、上一周期读取” 的 epoch 双缓冲 :请求与刷盘操作使用不同的 Key 空间,既减少锁竞争,也避免边读取边删除造成数据丢失。

第二层:磁盘写入异步化,并为异常设置止损线

日志进入底层网关的异步批量处理队列后,按批次合并写入文件,以减少频繁系统调用。 LLM、MCP 等场景拥有独立的队列和磁盘慢写状态,某一类日志拥塞不会直接阻塞其他场景。 队列本身有容量上限,避免流量高峰无限占用内存。当一次磁盘写入超过慢写阈值——默认 50ms——对应场景会进入默认 10 秒的冷却期,冷却期间快速跳过落盘;打开或写入文件失败时则交由队列按策略重试。这里的取舍非常明确: 当日志完整性与网关可用性发生冲突时,优先保护业务请求 ,并通过错误日志暴露丢弃和磁盘异常。

第三层:让不再活跃的 Prometheus 指标自动退出内存

模型、路由和消费者会持续变化。如果一个模型已经删除,它对应的 Label 组合仍长期留在网关共享内存中,时间一长就会形成大量 “僵尸指标序列” 。因此 AI 网关为动态指标增加了 TTL(Time To Live,生存时间)生命周期管理 ,通过预设时间参数来自动清理、删除或失效过期数据。

每次指标更新时,系统会同步刷新一个上次访问的时间戳。清理定时器只在一个工作线程中运行,找到过期项后不会立即删除,而是先等待一次同步周期,再重新检查访问时间。 如果这段时间有新请求让指标重新活跃,就取消删除 ,从而避免清理任务与请求更新发生竞态。内部状态 Key 使用 __ 前缀,与真实指标隔离:它们既不会被误暴露成 Prometheus 指标,也不会被 TTL 当成业务 Series 清理。需要特别说明, TTL 清理的是网关本地共享内存中长期不活跃的指标序列,不是删除 Prometheus 或云监控已经保存的历史数据 。历史曲线仍按监控系统自身的留存策略保存。

第四层:在源头限制指标基数

TTL 解决 “旧指标何时退出” ,但无法阻止短时间内产生海量新 Label。为此,MCP Server 等动态维度还设置了单节点基数上限; 当前实现最多保留 1000 个真实 Server 维度,超过上限后统一回落到 mcp_server_name="*" 聚合 。已有的细粒度指标序列会在停止活跃后由 TTL 自然清理。这种 “基数上限 + 通配聚合 + TTL 回收” 的组合,牺牲了极端场景下少量维度精度,却能防止 Prometheus Shared Dict、抓取响应和 Barad 上报批次同时膨胀。对网关这类基础设施而言, 这是比无边界记录更可靠的工程选择。

(性能控制四层防护示意图)

4.3 异常请求兜底:模型没有返回 usage,Token 数据也不 “断档”

正常情况下,模型服务会在响应中返回 usage,其中包含输入和输出 Token 数。但在真实生产环境中, 这个字段并不总是可靠 :有的兼容接口没有实现 usage;有的流式接口只有最后一个数据块才返回 usage;如果客户端提前断开、上游异常,或最后一个数据块在传输中丢失,网关可能已经转发了大量内容,却拿不到最终统计。 如果简单地把缺失值记为 0,成本、配额和容量趋势都会被系统性低估。 为此,网关采用 “尽量获取、分片累计、最后补偿” 的三级策略:

优先级

数据来源

处理方式

1

模型服务实报

优先采用响应中的原始 usage

2

流式分片可恢复数据

对已经收到的 usage 做幂等累计

3

本地估算

输入侧使用 tokenizer,输出侧按已接收文本做近似估算

第一步 是尽量让上游返回准确数据。对于支持该能力的 OpenAI 兼容流式接口,网关会自动补充 stream_options.include_usage=true 。收到分片后也不会机械相加,而是采用 “最大值胜出” 的方式更新 Token 数:这既兼容 “每个分片返回累计值” 的供应商,也兼容 “只在最后一个分片返回总值” 的供应商,还能避免同一分片被重复处理时造成重复计数。

第二步 是在请求侧提前建立独立的输入 Token 估算。网关会根据请求类型提取真正参与推理的文本,并使用本地 tiktoken 兼容编码器计算 Token 数。 编码器按 Worker 延迟加载,计数时只返回数量,不生成完整 Token ID 数组 ,以减少 CPU 和临时内存开销。该结果写入独立的 estimated_input_tokens 字段,不会覆盖模型实报的 input_tokens ;即使分词器加载或解析失败,也只记录失败原因并放行请求, 不会让观测逻辑阻断模型调用 。

第三步 处理最棘手的情况:流式内容已经返回,但最终 usage 完全缺失。对于非多模态响应,网关会根据实际接收到的文本长度,以 “字符数 ÷ 4” 计算一个保守的输出 Token 近似值,并将 usage_source 明确标记为 estimated 。多模态内容可能包含 Base64 或 URL,按字符估算容易产生数量级偏差,因此这类请求不会强行补偿。

(Token 三级补偿策略示意图)

与此同时,日志还会记录 complete 、 client_disconnected 、 provider_error 或 incomplete 等流状态。这样,即使一次请求因客户端断开而只留下部分数据,使用者仍能判断 “这是供应商精确值、分片累计值、还是网关估算值” ,而不会把不同精度的数据混为一谈。例如,一次流式调用已经向客户端输出正文,却在最后一个 usage 分片到达前发生连接中断。传统日志可能只留下 output_tokens=0 ;网关则会保留本地输入估算、根据已接收正文补偿输出 Token,并同时标记 usage_source=estimated 和实际流状态。这样既避免监控曲线突然归零,也为后续审计保留了数据精度边界。

需要强调的是, 估算值用于异常场景下的趋势分析、容量判断和问题排查,不能替代供应商账单 。模型实报值始终优先,估算结果也始终带有来源标记—— “有数据” 与 “知道数据有多可信” 必须同时成立 。

从工程角度看,这套体系的核心不是某一个指标或插件,而是 五个设计原则 : 请求上下文统一、指标与明细分流、同步处理与异步投递解耦、观测失败不影响业务主链路、异常数据可补偿且来源可追溯 。正是这些底层设计,让 AI 网关不仅能转发模型请求,也能成为 企业统一治理 AI 流量的数据入口 。

五、总结

监控让大模型调用 “看得见” ——Token 消耗、请求延迟、Fallback 触发,每一个指标都按模型、按消费者、按时间段可下钻。 日志让问题 “查得到” ——OpenTelemetry 标准的结构化日志,一条 CLS 查询语句就能定位慢请求、错误请求、Fallback 链路。 追踪让链路 “审得清” ——TraceId 贯穿完整调用链,审计日志满足金融合规。

三者统一在 AI 网关一个入口里采集,业务方 不需要改一行代码,不需要自建监控体系 。当大模型成为基础设施,这层 “可观测屏障” 就是运营的基石 —— 没有可观测,就没有精细化运营。

如果您正在推进企业 AI 应用建设,欢迎在评论区告诉我们你正在面对的 AI 落地挑战。前往产品页面了解详情:https://cloud.tencent.com/product/cngw

AI 网关能力全景

点击 👇 视频查看 「AI 网关接入演示」



阅读原文

跳转微信打开

  •  

TDMQ RocketMQ 轻量主题 Lite Topic 是怎么把百万通道做 “轻” 的 - 下篇

刘生忠、纪宇鹏 2026-07-23 17:00 陕西

为企业构建 AI 原生应用提供坚实的技术基石。

回顾:上篇留下的 3 个谜题

在上篇《一次 AI 问答,背后是十几个 Agent 在 “传纸条” — RocketMQ Lite Topic 实战》中,我们通过两个真实场景 — AI 编程助手多 Agent 协作 和 大模型记忆服务的"记忆写入" — 看到了 Lite Topic 在 AI 原生应用通信链路里的关键作用。

但读完之后,相信不少读者心里都打着同一个问号:

#

谜题

看似不可能的点

1

单实例百万级 Lite Topic 如何自动创建?

主题数量 ×100 倍,内存和文件句柄怎么扛?

2

海量订阅怎么不拖垮 Broker?

海量 Lite Topic 带来海量订阅关系,如何有效维护?

3

“最新连接胜出” 的排他消费如何实现?

RocketMQ 不是 Consumer Group 共享消费吗?

今天这篇,我们一个个揭开。

TDMQ RocketMQ 与 轻量主题 Lite Topic

为了拥抱 AI 原生应用架构带来的变革,针对 “多 Agent 协作持续时间长、多轮次上下文依赖” 的特点,Apache RocketMQ 在已有的 LMQ(Light Message Queue)能力基础上进一步推出了 Lite Topic 功能。腾讯云 RocketMQ 立足开源社区的底层能力,结合业务诉求做了进一步的产品化设计和优化,在已有的主题模型下推出了 轻量主题 Lite Topic 功能。

与传统 Topic 相比,Lite Topic 有三个关键差异:

  • 兼容原有主题模型的前提下,实现了二级数据隔离

  • 实现了 单客户端的排他订阅,订阅关系更加灵活

  • 自动生命周期管理:发送消息即自动创建,过期无消息即自动删除

基于以上特性,Lite Topic 当前已在腾讯内部业务落地验证,正在逐步对外部客户灰度开放,以实现 大模型会话任务解耦与非阻塞调用,提升 Agent 的吞吐能力和响应速度。

概念模型:两级主题

RocketMQ 的轻量主题(Lite Topic)与主题(Topic,或称为 ParentTopic)存在逻辑上的层级关系:

每个 Lite Topic 都从属于一个 Topic,而一个 Topic 可以关联多个 Lite Topic。

层级

角色

Topic

路由注册 + 业务隔离 + 聚合指标

Lite Topic

实际的消息存储载体

这种两级模型的好处是:业务侧通过 Topic 获得“全局视图”(如全租户的总速率、堆积情况),通过 Lite Topic 获得“细粒度通道”(如某个用户会话的精确监控),一举两得。

(图 1:两级主题模型示意图 —— Topic 与 Lite Topic 的从属关系)

谜题 1 揭秘:百万 Lite Topic 是怎么"轻"起来的

单实例百万级 Lite Topic 自动创建,核心问题是:怎么让“主题”不那么“重”?

生命周期:发送即创建,过期即销毁

Lite Topic 的整个生命周期 无需业务侧关注,支持全自动化管理:

发送时自动创建

当客户端发送消息时,Broker 会检查 Lite Topic 是否已创建;如果没有则会自动创建。

过期后自动删除

创建 Topic 时可以设置 TTL 属性,所有关联的 Lite Topic 都会根据该 TTL 自动过期。过期判断逻辑:若某个 Lite Topic 中最近一条消息的写入时间距当前时间已超过 TTL,则该 Lite Topic 被视为已过期。过期后进入后台异步清理流程,删除其消费位点、消费索引,以及移除内存中与该 Lite Topic 相关的订阅关系等。

这是“轻量”的第一层保证:不让没用的主题“阴魂不散”,避免长尾累积。

存储复用:站在 LMQ 的肩膀上

那核心问题来了:百万级 Lite Topic 怎么不爆掉 Broker 的内存?

这里在代码实现上复用了 RocketMQ 开源社区已有的 LMQ(Light Message Queue)能力。此外,发送到 Lite Topic 的所有消息都会追加写入存储层的同一个物理队列,以确保全局有序性。当 Broker 节点在发布重启期间或发生单机故障时,写入流量会自动切换(Failover)到集群内的其他可用节点,从而优先保障服务可用性。

LMQ 设计之初就是为了支持百万级队列的轻量化存储模型,与 Lite Topic 的应用场景 “主题自动创建 + 百万级规模” 高度契合。因此,Lite Topic 的消费索引构建体系直接复用 LMQ 能力 - 不重造轮子,把成熟能力组合出新价值。

总的来说,Lite Topic 在写入路径上完全沿用 RocketMQ 既有的存储体系。在内核存储层面,它与传统 Topic 无任何结构性差异。这种一致性保证了实现上的简洁性,并显著降低了维护与运维成本。

谜题 2 揭秘:海量订阅怎么不拖垮 Broker

百万级 Lite Topic 不止要 “创建得起”,还要 “订阅得起、分发得起”。我们为 Lite Topic 构建了一套高效的订阅与分发机制,主要包括两部分:

客户端维度的订阅管理

与传统基于消费组(Consumer Group)维护订阅关系的模型不同,Lite Topic 将订阅关系下沉到客户端维度(ClientId)进行管理。

由于不再强依赖 Consumer Group 语义,系统无需维护 Consumer Group 内部的一致性状态。这种弱化 Group 的订阅模型天然更轻量,使得在百万级 Lite Topic 规模下,Broker 仍能保持较低的订阅状态管理开销。

事件驱动的合并拉取(Ready Event Set)

百万订阅下另一个挑战是:消费端怎么高效拉取消息,不被海量空查询拖垮?

这里的解法是引入“就绪事件(Ready Event)”机制:

  • 当新消息写入 Lite Topic 并完成消费索引构建后,Broker 立即分发“就绪事件”给相关订阅者

  • 每个订阅者维护一个独立的 “就绪事件集合(Ready Event Set)”,其中记录了该客户端所订阅的全部 Lite Topic 的就绪事件

  • 当客户端发起 POP 请求时,Broker 直接从就绪事件集合中高效地读取就绪消息

这种机制有两个好处:

  • 一次请求合并拉取多个 Lite Topic 的消息 - 大幅减少 RPC 数量

  • 避免对存储层产生大量无效查询 - 空 Lite Topic 不会触发任何拉取动作

(图 2:Ready Event Set 合并拉取机制示意图)

谜题 3 揭秘:排他消费 + 最新连接胜出

“最新连接胜出”的排他消费到底是什么机制?

从 Shared 到 Exclusive 的演进

传统的 RocketMQ 消费采用 共享模式(Shared):Consumer Group 下的所有客户端均衡地消费 Topic 中的消息。这在常规队列场景下没问题,但在 Lite Topic 的会话保持场景下就出现了问题:

用户的会话内容流被多个消费者切片消费 — 意味着同一个会话的 token 流被打散到多个 SSE 网关上,前端 根本拼不回完整对话。

为了适配 Lite Topic 的使用场景(例如会话保持),我们为 RocketMQ 引入了一种全新的 排他消费模式(Exclusive):

发送给 Lite Topic 的消息只会被 Consumer Group 下的其中一个客户端独占消费。

“最新连接胜出”机制

开启排他消费模式后,Broker 默认会选择 最新连接的客户端作为 Lite Topic 的独占消费者,并通知旧的客户端取消订阅。

这个看似简单的规则,恰恰是上篇场景 2 中 “断线续传” 得以实现的关键:

    用户断线 → 网关 A 仍持有订阅
    用户重连命中网关 B → 网关 B 发起排他订阅
                      → Broker 触发"最新连接胜出"
                      → 自动踢出网关 A
                      → 网关 B 接管该会话的后续 token

    整个过程不需要任何业务侧的协调代码 — 业务侧只需调用 seek(offset) 把位点定位到客户端记录的 lastReceivedOffset+1,剩下的全交给协议。

    (图 3:断线续传 + 最新连接胜出机制示意图)

    与传统 Topic 的关键差异对比

    新增的 TDMQ RocketMQ Lite Topic 功能,对比传统 Topic 有以下优势:

    把上篇的 "魔法" 映射到下篇的 "机制"

    最后,把上篇的 3 个谜题与下篇的技术机制做一次完整闭环:

    Lite Topic 在产品层提供的能力,全部都映射到 RocketMQ 内核可解释、可观测、可演进的机制上——这是我们在做这次能力增强时坚守的设计原则。

    结语:AI 原生应用的基础设施还在演进

    路漫漫其修远兮,吾将上下而求索。

    随着 AI 技术的持续演进,RocketMQ 在 LLM 流式服务、Agent 状态管理、RAG 数据底座、模型推理流水线、多模态数据处理 等场景也将发挥更大价值,为企业构建 AI 原生应用提供坚实的技术基石。

    Lite Topic 能力当前已在腾讯云内部多个 AI 业务灰度运行,后续将面向外部客户商业化,欢迎加入 👇 产品交流群沟通了解更多信息!

    往期推荐


    阅读原文

    跳转微信打开

    •  

    让 Token 消费看得见、管得住、省得下 - AI 网关成本治理能力解析

    绍玮、鸿杰、渴炜 2026-07-15 15:00 陕西

    模型能用,但成本理不清怎么办?腾讯云 AI 网关,帮你看好每一分钱。

    一封让 CTO 一夜没睡的邮件

    上个月,某公司的 CTO 收到了一封让他睡不着的邮件 - 大模型月账单比上个月涨了 3 倍。

    更让他崩溃的是:财务追问 “这些钱花在哪儿” ,工程团队查了半天,只能给出一个模糊的答案: “大概……是这个 AI 助手在跑吧?”

    没有多维度的成本拆解、没有多维度的场景分析、没有异常消费的提醒—— 只知道成本多了,不知道花在了哪里。

    大模型接入不是终点。当业务真正跑起来以后,另一场硬仗才刚刚开始: 模型 Token 成本怎么观测,模型配额怎么管理 。

    解决这样的问题,不止需要一个功能点 — 从实时成本观测到多维配额、从默认策略到配额计数,都需要一整套体系来支持。基于 腾讯云原生智能网关-AI 网关(以下简称 AI 网关)拥有完整的成本治理与配额体系,可以让大模型的每一次 Token 消耗都 “看得见、管得住、省得下”。

    开头的情况并非个例

    过去三个月,AI 网关团队走访了几十家把大模型接入生产的客户。我们发现: “账单暴涨” 背后不是一个问题,而是同一套结构性漏洞的多种表现。

    场景一 | 账单失控,谁花了多少一无所知

    月底账单出来,Token 消耗暴涨 300% 。可你不知道:

    • 是哪个团队在花?

    • 是哪个模型在烧?

    • 是哪个时间段异常?

    • 是业务增长,还是有人在 “刷模型” ?

    问题本质 :Token 消耗黑盒,缺乏多维度使用量统计与成本溯源能力。

    场景二 | 集群配额计数不一致,超限流量溜过去

    业务高峰期,网关 A 节点计数到 80%,网关 B 节点才 50%——因为 “已用额度” 各自在内存里维护。

    同一个消费者,实际早已超限,但换一个节点还在继续放行。

    问题不是没设配额,问题是—— 配额被三个节点分别数了三份 。

    问题本质 :本地内存计数无法跨节点共享,集群环境下配额计数不一致。

    其他更多问题场景

    场景

    痛点

    新消费者 Token 用量 “裸奔”

    管理员忘配配额,月初就把整月的 Token 配额全部使用

    配额粒度太粗

    大小用户一刀切,大的被限死、小的挡不住,配额运营死板

    Token 重复消耗

    用户换个说法问同一个问题,每次都花一遍推理成本,极大浪费资源

    成本配置太复杂

    搭一套完整管控要在 4 个页面间反复跳,容易遗漏

    AI 网关是这么解决的 — 一套体系,五项能力

    针对以上痛点,腾讯云 AI 网关给出的答案不是 “加个功能” ,而是提供 一整套成本治理体系 。

    【能力一:多维度配额治理】Token 不是唯一要关注的指标

    每个模型的 Token 价格完全不同,请求次数多起来也会更难处理,只限 Token 远远不够。 除 Token 外也需要关注成本和请求次数 :

    维度

    管什么

    Token

    Token 消耗上限

    请求次数

    模型调用次数

    成本

    花费的成本金额

    三个维度独立计数、独立判定,粒度精细到每一个消费者。同时在时间上,AI 网关支持按照 日、周、月和年 时间维度配置消费者配额,让配额运营更加灵活。

    【能力二:默认配额策略】让新消费者 Token 配额不再 “裸奔”

    新消费者创建时,AI 网关会 自动注入一条默认配额规则 ——哪怕管理员忘配置,也不会出现 “月初打穿全月 Token 配额池” 的 “惨剧” 。可在配额管理处配置默认配额,设置完成后所有新建消费者都会自动配置一条配额。

    (图:默认配额策略配置)

    【能力三:语义缓存】Token 消耗的 “沉默杀手”

    用户换个说法问同样的问题—— “今天北京天气” 和 “北京今天天气怎么样” ——在传统系统里是两次独立推理,两次 Token 消耗。

    语义缓存不是关键词匹配,而是 基于向量相似度 :语义相近就命中同一份缓存,可以极大降低 Token 消耗和工具请求次数。

    (图:语义缓存工作示意图)

    【能力四:实时成本计量】从 “事后对账” 到 “即刻可观测”

    传统方案每小时才统计一次。这意味着 — 9:05 发生的超量流量,你要等到 10:00 才能看到。中间的 55 分钟,系统还在放行。

    但是面对 AI 成本黑盒,AI 网关拿出成本观测方案:

    • 分钟级实时:直接从 Redis 读,不再等定时任务获取,两分钟内就可以看到最新的成本情况报表和数据

    • 重启不丢:Redis 配置全局统一管理,配置重启后对应的配额计数仍然完好

    展示能力

    内容

    解决问题

    周期总成本

    实时展示当前自然累计费用

    不用等月底账单,随时知道已花多少

    最高成本消费者

    标出当月费用最高的消费者(含名称、所属组、已用费用)

    快速定位 “谁在烧钱” ——是正常业务增长还是异常调用

    最高成本模型服务

    标出当月费用最高的模型服务(含服务名、已用费用)

    快速定位 “钱花在哪个模型上” ——是否该考虑模型降级

    成本趋势图

    按日展示输入成本 + 输出成本双柱状对比

    看趋势——是平稳消费还是在逐日攀升;输入 vs 输出成本比例是否异常

    多维下钻明细

    按消费者/消费者组/模型服务/模型 API/路由 5 个维度下钻

    账单暴涨时,从总览逐层定位到具体的消费者+模型+API+时间段

    【能力五:成本管理大盘】从 “管得住” 到 “算得清”

    能观测具体额度后,下一步是算清楚账。多维度使用量统计让每一次 Token 消耗都有迹可循,账单暴涨时,可以极快发现哪里是成本 “漏洞” 。

    展示视角

    回答的问题

    消费者视角

    哪个团队/应用消耗最多?钱该算到谁头上?

    模型服务视角

    哪个模型是成本大头?该不该换便宜的?

    模型 API 视角

    哪个接口消费最高?是不是有接口被滥用?

    (图:成本管理大盘)

    技术底气 | 为什么能做到 “分钟级 + 强一致”

    整个系统的核心是 两条分离原则 :

    • 配置与执行分离 ——控制面管控不影响调用执行

    • 热路径与分析路径分离 ——统计分析延迟也不影响限流与配额

    围绕这两条原则,三条链路各司其职:

    链路

    方向

    关键特征

    配置下发

    控制面 → 数据面

    双写一致、准实时生效

    实时计数

    数据面 ↔ Redis

    原子递增、跨节点共享

    统计分析

    日志 → 控制面

    准实时、与执行解耦

    跨节点一致性的核心: 用 Redis 的 INCRBY 原子递增把集群里所有节点拧成 “一个视图” — A 节点数到 80%,B 节点看到的也是 80%。计数偏移的病根一次性除掉!

    (图:三条链路架构示意图)

    总结

    大模型从 “能用” 走向 “生产” 的过程中,成本治理不是可选项,而是必答题。

    智能路由解决了 “选最优模型” ,业务连续性解决了 “模型不稳定” ,而 Token 成本治理与配额运营解决的是第三个关键问题 — 模型能用,但成本理不清怎么办 。

    AI 网关给出的答案是 “一套体系、多维治理” :

    • 一套体系 :从实时计量 → 多维配额 → 默认策略 → 语义缓存 → 成本大盘,形成完整的成本治理闭环

    • 多维治理 :Token 数量、请求次数、成本独立管控,粒度精细到消费者

    六个用户场景、五项核心功能、一套完整的成本运营体系 — 大模型用起来很好,但账单得有人管。 AI 网关,帮你看好每一分钱。

    如果您正在推进企业 AI 应用建设,欢迎在评论区告诉我们你正在面对的 AI 落地挑战。前往产品页面了解详情:https://cloud.tencent.com/product/cngw

    AI 网关能力全景

    点击 👇 视频查看 「AI 网关接入演示」


    阅读原文

    跳转微信打开

    •  
    ❌