铃阅时讯
❌

阅读视图

小尺寸全能王:小米开源0.8B卷王OCR模型

小米技术 2026-10-30 21:03 北京

你是否也经历过这些瞬间:线上取好的排队号、外卖取餐码,走到柜台前却发现早已被新涌入的消息窗口淹没;刷到一张心动的活动海报,时间和地点还得切去日历挨个敲进去;刚付完一笔账单,金额、商户和订单明细仍需手动摘录整理……这些高频的日常“小麻烦”,其实都指向了同一个问题:手机能不能不只是“看见”屏幕上的内容,更能“看懂”这些信息,并在你需要时顺手完成下一步?

如今,在小米手机上,“超级小爱”已经让这种体验成为日常——短按 AI 键或只需一句话,即可提取屏幕上的关键信息并衔接后续操作。从“看清屏幕上写了什么”,到“主动帮用户把事办好”,这看似轻巧的一步跨越,背后其实是一项 AI 原子级能力的进化:OCR 从单纯的“文字识别”走向了深层的“文档理解”。

然而,想要让机器真正“读懂”眼前的文档与画面,远没有想象中简单:一张跨行合并的复杂财报表格,如何准确还原行列逻辑?一页密布符号的学术论文,如何直接转为可编辑的公式与结构化内容?一张版式各异的票据卡证,又如何一眼锁定核心字段?这背后是 AI 模型对文字、版面结构、空间位置与上下文语义的多重考验。传统 OCR 往往止步于机械的文字转写,拆不开复杂结构,也读不懂深层语义;而通用大尺寸多模态模型虽具备理解能力,动辄数十亿、上百亿的参数体量又显得过于笨重。

今天,小米正式发布并开源轻量级全能文档理解模型——Xiaomi-OCR-0,小参数,同样能释放大能力。作为一款仅有 0.8B(8 亿)参数的轻量化模型,它将文档解析、关键信息抽取与视觉问答三大核心能力融于一身,在多项权威基准测试中越级斩获领先成绩,让机器不仅能“认准文字”,更能真正“读懂文档”。

01

一体多能:仅 8 亿参数

从“把字读出来”到“把文档读明白”

在真实世界中,文档的形态远比一段纯文本复杂得多:学术论文包含密集的跨行数学公式,财务研报充斥着复杂的嵌套表格,各类卡证票据则隐含着严密的字段键值关系;与此同时,物理打印、日常拍摄或屏幕翻拍过程还不可避免地引入弯曲形变、透视倾斜、光照阴影与摩尔纹干扰。这意味着,真正实用的文档智能系统不仅要“认得出字”,更要“拆得开结构、提得出字段、答得上问题”。

面向真实场景的多维需求,Xiaomi-OCR-0 在仅 0.8B 参数的轻量级架构中实现了三类核心能力的统一建模:

  • 文档解析(Document Parsing):精准识别并还原文档中的正文、复杂表格与数学公式,严格遵循人类自然阅读顺序生成结构化结果,原生支持 Markdown、LaTeX 等格式输出,便于后续编辑、知识库构建与检索增强。

  • 关键信息抽取(Key Information Extraction, KIE):面对发票、收据、卡证及业务表单等半结构化文档,能够根据指定字段精准定位并抽取目标信息,直接输出 JSON 等标准结构化数据,无缝对接自动化处理工作流。

  • OCR 视觉问答(OCR-oriented VQA):突破单纯的文字转写边界,支持围绕文档与图表内容进行跨区域检索、数值计算与语义推理问答,真正实现针对视觉文本的交互式理解。

通过将结构解析与语义理解融为一体,Xiaomi-OCR-0 用一个轻量级模型覆盖了从底层感知到高层认知的完整链路,以极高的参数效率实现了“小尺寸、全能型”的文档智能体验。

02
性能领先:真实解析基准登顶

理解能力越级挑战大模型

仅 8 亿参数的轻量级模型,究竟能否扛住复杂文档解析与高层语义理解的双重考验?在多项极具代表性的公开基准测试中,Xiaomi-OCR-0 交出了一份亮眼的答卷。

▍文档解析:真实复杂场景夺冠,综合与专项表现全面领先

在日常办公与生活场景中,待处理的文档往往并非清晰规整的数字原件:扫描件伴有噪点,手持拍摄的纸张常出现弯曲与透视倾斜,手机翻拍电子屏幕则会产生严重的摩尔纹与反光。为了检验模型在真实物理采集条件下的鲁棒性,我们在 Real5-OmniDocBench 基准上进行了系统评测。该基准基于 OmniDocBench v1.5 的 1,355 页多样化文档,通过扫描(Scanning)、纸张弯曲(Warping)、屏幕翻拍(Screen Photography)、光照变化(Illumination)和倾斜拍摄(Skew)五种真实物理采集方式,构建了共计 6,775 张测试图像,能够直观检验复杂成像干扰对模型解析能力的影响。

在 Real5-OmniDocBench 评测中,Xiaomi-OCR-0 取得了 95.24 分的优异成绩,对比的所有模型中位列第一。与此同时,在同样聚焦真实拍摄干扰(涵盖打印形变、阴影、反光与复杂透视)的 Wild-OmniDocBench 基准上,Xiaomi-OCR-0 同样取得了 87.94 分的高分,充分印证了模型在非受控真实成像环境下的卓越稳定性。

而在检验综合文档解析能力的权威基准 OmniDocBench v1.6 中,评测覆盖了学术论文、财务报告、报纸、教材等多元版式,并进一步强化了对复杂嵌套表格与密集数学公式的考察。在这场“综合大考”中,在这场“综合大考”中,Xiaomi-OCR-0 斩获 96.83 分,以约三分之二的参数量(0.8B vs. 1.2B)夺得总榜第二名,距榜首仅差 0.04 分,在1B以下模型中排名第一,展现出极高的参数效能比。

此外,针对文档中的精细结构与特殊字体,Xiaomi-OCR-0 同样表现出色:在数学公式识别基准 UniMER-Test 上达到 97.84 分,在表格结构识别基准 PubTabNet 上取得 92.27 分。更令人惊喜的是,在涵盖隶书、草书、行书与楷书的古籍与书法评测集 Chronicles-OCR(Mature Scripts) 中,模型得分达到 73 分,与闭源大模型 Seed 2.0 Pro(72 分)处于同一水准。从现代印刷文档到传统书法文献,Xiaomi-OCR-0 展现出广阔的能力边界。

▍文档理解:以 0.8B 轻量级规模,越级超越更大尺寸模型

除了精准还原文档结构,一个 0.8B 的轻量级模型能否真正“读懂”文档内容?为此,我们在 DocVQA、InfoVQA、ChartQA、OCRBench 和 TextVQA 五项主流 OCR 视觉问答基准(OCR-oriented VQA)上进行了全面评估。这些任务不再局限于考察“文字是否识别正确”,而是要求模型结合文本、图表与版面结构进行跨元素关联、信息检索与逻辑问答。

评测结果显示,Xiaomi-OCR-0 以仅 0.8B 参数取得了 83.2 的五项基准平均分:这一成绩不仅大幅超越了 HunyuanOCR-1.5(1B,76.5 分)、TokenVL-2B(2B,78.1 分)与 TextHawk2(7B,78.5 分)等专用 OCR 模型,更跨量级超越了通用多模态模型 Qwen3.5-2B(80.9 分) 与 MiniCPM-V-4.5(8B,82.6 分),并以仅 20% 的参数规模逼近 Qwen3.5-4B(84.9 分)。这意味着,Xiaomi-OCR-0 不仅“看得清、拆得开”,更能“读得懂、答得出”,在轻量级参数规模下实现了兼具解析精度与认知深度的双重跃升。

03

技术核心:可扩展数据引擎与渐进式课程训练

一个仅有 8 亿参数的轻量级模型,是如何在保持高推理效率的同时,兼顾顶尖的文档解析精度与深层语义理解能力的?Xiaomi-OCR-0 的核心突破在于高信噪比的可扩展数据引擎与先解析后理解的渐进式训练范式。

▍可扩展数据引擎:异构专家共识与渲染引导校验

Xiaomi-OCR-0 基于 Qwen3.5-0.8B-Base 基座构建,训练过程累计使用约 1.7 亿条高质量 OCR 与文档理解样本。面对真实文档版式复杂、传统伪标签噪声高、长尾场景稀缺等难题,团队构建了一套闭环演进的数据引擎,从三个维度保障每一份训练数据的信息密度:

  • 异构专家共识机制(Ensemble Triplet Consensus):针对正文、表格与公式等不同区域,联合多个异构 OCR 专家模型进行交叉校验与三元组共识投票(基于 1-NED、TEDS、CDM 等专项指标),从源头滤除单模型偏见,筛选高置信度标注。

  • 渲染引导校验(Render-Guided Refine-and-Judge):针对复杂表格与高难度数学公式,创新性地引入“预测—重渲染—视觉比对”闭环。系统将候选解析代码重新渲染为图像,并与原始文档区域进行像素与结构级比对,精准定位行列错位或符号缺失等细微结构缺陷,进而实施针对性修正。

  • 多因素困难样本挖掘与定向合成:结合版面复杂度、字体形态与物理退化因素,持续挖掘模型能力短板,并定向合成覆盖多语种、古籍手写、屏幕摩尔纹及扭曲光照的训练样本,系统性补齐长尾分布。

▍渐进式课程训练:从“读得准”到“读得懂”的双向增益

在模型训练阶段,Xiaomi-OCR-0 遵循由浅入深的认知规律,设计了三阶段渐进式训练策略:

  1. Q-Mask 文本锚定:在特征对齐初期强化视觉局部区域与文字 Token 之间的细粒度空间锚定,夯实密集文本识别与版面感知的底层基础;

  2. OCR 持续预训练(Continual Pre-Training, CPT):通过百亿级 Token 规模的多任务混合训练,赋予模型涵盖全页文档解析、细粒度区域识别与视觉问答的综合基座能力;

  3. 混合任务强化学习(Mix-RL):在困难样本上引入基于结构编辑距离、表格匹配度与问答准确率的精细化可验证奖励信号(Verifiable Rewards),进一步突破模型在复杂版式还原与多步推理上的性能上限。

尤为值得关注的是,团队在训练演进过程中揭示了一项重要的课程学习(Curriculum Learning)规律:当模型在早期尚未建立稳固的解析基础时,过早混入高层理解任务会轻微分散底层识别注意力;但一旦模型具备了扎实的文档解析根基,进一步引入 OCR 视觉理解监督信号,不仅能显著拉升问答与抽取能力,还会反过来对纯文档解析基准产生正向促进作用(在 OmniDocBench v1.6 上带来最高 +0.64 分的额外增益)。这一“以解析筑基、以理解反哺”的协同机制,正是 Xiaomi-OCR-0 能够在 0.8B 轻量级体量下实现全能表现的关键所在。

04

场景落地:走出实验室,让屏幕信息主动服务生活

技术的价值,最终体现在真实世界的交互体验之中。凭借 0.8B 的轻量级体量与全能的解析理解能力,Xiaomi-OCR-0 相关技术正深度融入小米手机与“超级小爱”的日常高频场景,推动终端体验从“被动截屏查找”走向“主动理解服务”:

  • 在即时生活服务场景中,让关键凭证“一眼上岛、随手可取”:面对被消息淹没的外卖取餐码、驿站快递取件码、退货码、景区寄存柜号或餐厅排队号,用户无需在各个 App 间反复切换翻找;只需短按 AI 键、三指上滑或对超级小爱说一句“记一下”,系统即可精准识别屏幕中的核心字段与状态,将时效性信息主动提炼“上岛”,在需要时一触即达。

  • 在财务管理与卡证办理场景中,让繁琐录入化为自然交互:浏览微信、支付宝等消费账单详情时,按下 AI 键即可自动抽取交易金额、商户名称、支付时间与消费类别,一键完成智能记账;面对纸质发票、身份证、银行卡等复杂卡证材料,也能通过拍照或识屏瞬间完成结构化字段提取,告别手动输入与反复核对。

  • 在日程规划与出行场景中,让屏幕信息直接转化为下一步行动:看到群聊记录里的会议通知或活动海报上的时间地点,系统能够自动理解上下文语义并生成日程卡片,一键添加至日历;在聊天界面收到朋友发来的航班号(如“我的航班号是国航 CA824”),只需直接提问“这个航班还有多久到”,系统便能结合屏幕上下文精准提取航班信息并联动查询实时起降动态。

从取餐码上岛、自动记账,到卡证提取、日程创建与航班追踪,这些看似不同的生活切面,背后指向的正是同一项核心技术跃迁:让 AI 从屏幕与图像中精准捕获结构化信息,读懂文字背后的真实意图,并将其转化为触手可及的智能服务。

05

全面开源:开放权重与工具链,共建文档智能生态

我们始终相信,科技不是高高在上,而是服务于每一个人。

今天,Xiaomi-OCR-0 正式面向全球社区全面开源。我们不仅完整公开了 0.8B 模型权重与推理代码,还同步提供了开箱即用的浏览器交互式 Demo、MCP(Model Context Protocol)服务以及 Agent Skill 工具包,帮助广大开发者、研究人员与企业伙伴以最低成本将文档解析、信息抽取与视觉问答能力集成至自有业务流或智能体系统中。

从“读得准”到“读得懂”,从底层算法突破到全场景终端体验升级,8 亿参数的 Xiaomi-OCR-0 展现了轻量化模型在文档智能领域的无限潜力。我们诚挚邀请全球开发者共同体验、评测与共建,携手探索全场景文档理解的更多可能!

开源链接与快速体验:

END

跳转微信打开

  •  

11.1分享会 | 未来品牌设计还好吗?

原创 BranD School 2026-10-30 20:37 广东

最后20席,售完即止!11月1日下午15:00—17:00在杭州BAC社区见。

10月28日,BranD School 杭州工作坊在 BAC 社区正式开幕。.Oditty Studio、MAUM STUDIO、AFFORDANCE和Foreign Policy的四位创始人担任工作坊导师,并在开幕式上分别发言,都表达了受邀来到中国开工作坊的兴奋,也希望接下来5天能和学员碰撞出不一样的火花。

四间教室,四种方法,但指向同一件事:设计不是从风格开始,是从理解开始。

回顾过去三天的工作坊,每个教室里发生了什么故事,最后一天的设计讲座有哪些精彩看点值得期待?

扫码报名

“一旦你脑中有了清晰的概念,颜色、字体或构图的选择就不再是问题。你几乎会自然而然地知道下一步该怎么做,这就是美妙之处。”——Alice Mourou

  Alice Mourou(HK)

现居香港,Alice凭借另类实验思维结合创意与商业而闻名,擅长将抽象概念转化为字体、符号、图形及完整视觉系统。她的作品兼具实验性、艺术感与商业传播力,广受媒体关注,近年来还受邀担任D&AD评委。Alice拥有敏锐的创意洞察力与商业嗅觉;除设计师身份外,她亦是知名香水品牌Oddity Fragrance的联合创办人,统筹产品设计、视觉传达与商业运营相关工作。

在开课的头三天,她带领的A班先讲什么是优秀的品牌设计,再讲概念如何驱动设计,把大部分时间留给一个更基础的问题:一个品牌到底想说什么。

“品牌再识别!”工作坊

©BranD School

比起一直讲案例、给参考,Alice选择让学员用实验性的形式,亲手制作设计可用的元素。当下太多设计师沉迷研究软件应用,她则认为设计师应该多动手,让材料、形状、随机地产生,再从过程中提炼出可以被使用的视觉语言。

这和她一贯的立场一致:接到委托就急着选风格,是设计最常见的问题。好看的设计很多,有意义的很少。所以这三天更像是一次“慢下来”的训练,把被跳过的思考阶段重新捡起来。

学员要做的不是一套完成的识别,而是一个清晰、能生长的概念。当概念足够清楚,色彩、字体、构图的选择不再困难。

“品牌再识别!”工作坊

©BranD School

“我认为有故事的设计才是直观的,能让人们通俗易懂,也能让世界变得更温暖。”—Lee Dalwoo

  Lee Dalwoo(KR)

韩国知名设计工作室MAUM STUDIO创始人及创意总监。将视觉语言拓展至多元媒介,打造具备沟通力与体验感的设计,是Lee Dalwoo的日常创作实践。他曾为韩国国立现代美术馆、NAVER、首尔市政府、Centre Pompidou Hanwha等文化机构、公共机构及商业企业服务,项目覆盖品牌视觉、公共视觉、空间与展览设计等多个领域。

他指导的B班,第一天不在教室。Lee Dalwoo 把学员带到咖啡厅,坐下来谈个人故事。这不是破冰,而是课程的核心。他认为,平面设计要超越二维,第一步不是学软件或技法,而是找到真正属于自己的叙述。所以他要每个人把自己的故事讲出来,再往下挖,挖到那个可以支撑一整套设计的“内核”。

“超越平面设计”工作坊

©BranD School

接下来两天,学员开始根据自己写下的故事制作设计方案。图形从叙述里长出来,而不是从参考图里挑出来。故事不同,方案就不同,这也是他课程里最难被复制的地方。

他一直在探索一件事:视觉语言如何从平面延伸到空间、物体和日常生活。故事是起点,图形是方法,最终要变成一件能站得住的作品。

“超越平面设计”工作坊

©BranD School

“AI改变的是节奏,而不是工作本身,你仍然需要审美眼光、判断力,辨别哪里不对劲的能力”—平野笃史

 平野笃史(JP)

日本著名平面设计师、艺术总监,也是日本多摩美术大学副教授,于2016年创立设计工作室AFFORDANCE。他的创作以平面设计为核心,涵盖品牌、CI/VI、导视、包装、编辑、插画、产品及空间设计;代表项目包括 HOT PEPPER Beauty、太田市美术馆・图书馆VI及导视、金泽21世纪美术馆原创商品、Onwardotton等。曾斩获 Tokyo TDC奖、经济产业大臣奖、JAGDA新人奖、SDA奖、CS设计奖等多项荣誉。

他带领的C班从设计元素讲起。平野笃史先深入拆解形状、色彩、素材如何影响设计在空间中的延展,然后带学生一次又一次走出教室,实地考察 BAC 社区。

“元素的决策!”工作坊

©BranD School

在他看来,合适的设计往往落在一个临界点上——多一点则过,少一点则不够,那种“刚刚好”的感觉,才是设计真正难的地方。所以他要学生反复看现场、反复判断,而不是在屏幕前一次性决定。

BAC 社区本身就是一个复杂的场地:美术馆、工作室、餐厅、咖啡厅、酒店混在一起,功能多、动线杂。对空间设计来说,这是真实的题目,不是模拟题。学员要做的,是一套融合平面与空间思维的完整方案。判断力,比技法更重要。

“元素的决策!”工作坊

©BranD School

“我们不能盲目地只把东西那么漂亮、好看,尤其是做品牌设计的,他一定要有能让人可以共鸣的一些故事或者一些感受。”—Yah-Leng Yu

Yah-Leng Yu(SG)

国际平面设计师联盟AGI成员,同时担任新加坡设计协会主席。2007年Yah-Leng与Arthur Chin联合创立Foreign Policy Design Group同时担任创意总监至今,长期深耕品牌策略、视觉识别、空间、编辑及文化项目设计,探索设计如何联结商业、文化与日常生活。作品斩获D&AD、TDC、Tokyo TDC、ADC、AIGA等多项国际设计大奖。

D班是四个工作坊里最常“不在教室”的一个。Yah-Leng Yu 认为,导视设计不是画几个箭头,而是先理解一个空间里的人和他们的需求。

“空间导视语言”工作坊

©BranD School

所以她的课从策略开始。学员被分成小组,制作调查问卷,分工合作,彻底调研整个 BAC 社区的导视需求:谁会经过这里、他们要去哪、在哪里会迷路、现有标识哪里不够用。调研之后才是视觉。字体、符号、色彩、材料,都要回答前面调研提出的问题,而不是凭感觉选。

她做过很多文化机构的空间项目,习惯从真实的人和真实的地方出发。这次也一样:先把场地读懂,再谈设计。最终每个学员要完成一套从场地调研出发、经过图形提炼、落到空间导视的完整方案。

“空间导视语言”工作坊

©BranD School

11月1日,四位导师将面向所有杭州设计师,带来丰富又翔实的案例,解答设计师最实际的困惑:品牌如何以有力的概念展开设计,如何用故事推动设计,设计元素如何抉择,品牌空间应该怎么安排导视标识。

🛒购票

⏰TIME

2026年11月1日 15:00-17:00

📍ADD

杭州市西湖区象山路131号BAC社区

A幢3楼学习中心

🎟️PRICE

68元

最后20张票!

活动规则:

  1.  本次活动无固定座位,入场采用签到制,经工作人员核票后方可入场

2. 门票一经售出,原则上不退不换。如主办方的特殊原因,或不可抗力等不可避免、无法预见且无法克服的客观原因,导致活动无法按原计划正常举办,我们将统一安排退票事宜。

跳转微信打开

  •  

JavaScript 中文周刊 #259 - TanStack AI 1.0:厂商中立的 AI 工具包正式稳定

原创 印记中文团队 2026-10-30 19:03 内蒙古

本期看点:TypeScript 7.1 Beta 带来可编程 API 与「内容映射器」;Bramus 用 JavaScript 与 WebGL 重写了 1997 年初代GTA的引擎;TanStack AI 1.0 正式稳定,TanStack Redact 推出更精简的 React 运行时;Verdaccio 7.0 与 Biome 2.6 更新。

本期看点:TanStack AI 1.0 正式稳定; TypeScript 7.1 Beta 带来可编程 API 与「内容映射器」;Bramus 用 JavaScript 与 WebGL 重写了 1997 年初代《侠盗猎车手》的引擎;TanStack Redact 推出更精简的 React 运行时;Verdaccio 7.0 与 Biome 2.6 更新;Node.js 发布修复 10 个 CVE 的安全版本。

编辑:TimLi

🔥 本周热点

TanStack AI 1.0:厂商中立的 AI 工具包正式稳定 — TanStack 这套与框架无关的 AI 工具包终于到达 1.0,聊天、工具与媒体相关的 API 均已稳定,并提供 23 个供应商适配器。新的 agent harness 支持长时间运行的会话,但相关 API 仍是实验性的。Tuzlak、Herrington 等 (TanStack)

长按识别二维码查看原文

https://tanstack.com/blog/tanstack-ai-1-0

TypeScript 7.1 Beta 发布 — TypeScript 7 带来了可编程 API,以及「内容映射器(content mappers)」这一插件点,用于检查嵌入在 Vue、Svelte、Astro 组件等文件中的代码。此外还新增了源阶段导入与 --target es2026。Daniel Rosenwasser (Microsoft)

GTA.js:用 JavaScript 重写的 1997 年初代《GTA》 — Bramus 一直在用 JavaScript 和 WebGL 重新实现初代俯视角《侠盗猎车手》的引擎,直接从原版 demo 文件中载入自由城。来玩一下。Bramus Van Damme

长按识别二维码查看原文

https://www.bram.us/2026/10/22/gta-js/

💡 巧的是,1996 年那台 Atari ST 上的原型版奠定了初代游戏载具物理的 Pat Kerr,最近也用 JavaScript 重写了它。

长按识别二维码查看原文

https://patkerr.co.uk/2d-vehicles/

快讯:

📖 文章与视频

从零开始用 TypeScript 实现解析器组合子 — 解析器组合子介于正则表达式与 tree-sitter 这类重型工具之间。这篇动画分步教程讲解了构建它们的基本要素,最后用一个把 ping 输出转换为类型化对象的示例收尾。Florian Schindler

长按识别二维码查看原文

https://t3.at/blog/parser-combinators/

死代码不该存在:Sentry 如何砍掉 28,000 行代码 — Dominik 今年在六场会议上讲过这个话题,如今整理成了可滑动翻页的幻灯片与完整文字稿。他讲述了无用代码的代价可能远超你的想象,以及 Sentry 如何借助 Knip 删掉了 28,000 行代码。Dominik Dorfmeister (Sentry)

长按识别二维码查看原文

https://tkdodo.eu/blog/dead-code-shouldnt-exist

为 AI 生成的 HTML 构建隔离预览 — 把模型写出的 HTML 渲染在 srcdoc iframe 中,意味着它会在你自己的源上运行。这位安全工程师先拆解了这种朴素做法的漏洞,再用 sandbox 与严格的 CSP 重新实现,并配有演示,展示它们各自能拦截什么。Keshav Malik

TypeScript 7.1 内容映射器初探 — TypeScript 7 会忽略 tsserver 插件,但 7.1 的内容映射器能把非 TS 文件也变成 TypeScript。本文讲解了它的运作原理,并以 CSS Modules 与 .graphql 文件为例加以说明。Jovi De Croock

📄 引擎如何把动态对象变成快速字段访问 —— 用可运行的代码片段讲清对象形状(shapes)与内联缓存。Max Bernstein

长按识别二维码查看原文

https://bernsteinbear.com/blog/object-shapes/

📄 软件慢是因为设计糟糕,而不是语言慢Sean Goedecke (GitHub)

🛠 代码与工具

Structs:TC39 的共享结构体提案,今天就能用 — 一位前 TC39 代表对 Stage 2 structs 提案的实现。其思路是让各个 worker 之间共享内存,线程可以直接操作同一批对象,而不必来回序列化拷贝副本。另外还提供了一个 playground。Erik Arvidsson

长按识别二维码查看原文

https://structs.arv.tools/

TanStack Redact:更精简的 React 运行时 — 一个构建插件会在浏览器中把 React 与 React DOM 替换为体积更小的重新实现,无需改动任何代码。它适用于 Vite、Start、Vinext 与 Next.js;TanStack 称客户端产物体积可减少 20–70%,但渲染目前仅限于同步。Tanner Linsley (TanStack)

Verdaccio 7.0:自托管 npm 仓库新增分阶段发布与双因素认证 — 一套成熟且轻量的自托管 npm 仓库与代理方案。v7 新增了实验性的分阶段发布(新版本需经审批才能正式上线)与 2FA,并收紧了所有权校验。Verdaccio Team

Biome 2.6 新增 Markdown、YAML 与 SCSS 支持 — 这个以 Rust 驱动、可替代 Prettier 与 ESLint 的工具新增了对 Markdown、YAML 与 SCSS 的格式化支持,并带来了初步的 lint 支持。用于自定义 lint 规则的 JavaScript 插件已作为开发者预览版提供。Biome Core Team

长按识别二维码查看原文

https://biomejs.dev/blog/biome-v2-6/

💡 如果你从未用过 CoffeeScript,它(曾经)是一门带着 Ruby 与 Python 味道、编译到 JavaScript 的语言。Brendan Eich 曾把它的箭头函数与轻量级类当作 ES6(ES2015)的参考范例。

长按识别二维码查看原文

https://coffeescript.org/

📢 其他生态

版本发布:

  • Node.js v26.12.1 (Current)、v24.22.1 (LTS)、v22.23.4 —— 安全发布,修复了 10 个 CVE,其中包括可能在应用解压恶意数据时导致远程代码执行的 "Node2Shell" Brotli 解码器漏洞。(另外,Node 26 明天将转为 LTS。)

  • Bun v1.4.4 —— 新增 bun fmt——一个兼容 Prettier 的格式化工具,可直接复用你现有的 Prettier 或 oxfmt 配置,速度非常快。

  • Electron v45 —— 升级到 Chromium 156、Node 24.22 与 V8 15.6,并为 Prompt API 添加了钩子,方便应用接入本地模型。

  • pnpm v12.16、Remix v3.1、axios v1.21、Deno v2.9.8 —— 四个项目同期发布了新版本。

  • CoffeeScript v2.7.1 —— 四年半以来的首个版本,修复了 Node 22+ 相关问题,并支持 { type: 'json' } 导入属性。

  • oxlint v1.89 —— 这个基于 Rust 的 linter 现在会把 React、Vue、Next.js、Jest/Vitest 等插件上游的推荐规则也计为「推荐」,升级后预计会看到更多告警。

  • Mutative v2.0 —— 一个 Immer 风格的高效不可变更新库。作者称在一套基准测试中比 Immer 快 3.6 倍。

  • SonicJS v3.0 —— 基于 Hono 构建、面向 Cloudflare Workers 的无头 CMS。v3 重写了数据层、鉴权与插件系统。官网。

  • query-string v10.0 —— 用于解析与序列化 URL 查询字符串的工具,现在遇到无法表示的值会直接抛错。发布说明。

  • ShareDB v7.0 —— 基于 Operational Transformation 的实时数据库后端。

🙋‍♀️ 关注我们

跳转微信打开

  •  

我在开发全世界最好的电子书阅读器

原创 DracoVibeCoding 2026-10-30 18:57 北京

读书这件事,我是认真的。

但我不满意当下既存的所有读书体验。

阅读纸质书体感最好,但是阅读过程中产生的各种划线和笔记无法被数字化,很多重要的参考内容由于无法数字化导致看起来很痛苦很低效,比如地图,印在纸上的黑白地图为什么不能变成3D的呢?

电子书虽然天然是数字化的,但是缺少实体书阅读时对于进度的把控感,以及很多内容的数字化依然不够完善;当然,最大的问题是,所有电子书阅读器都是别人开发的,我要添加功能是半点也不行啊 😂

所以,开发自己的电子书阅读器这件事一直都在我的计划中!

从上个周末开始,让Opus5.5打了个底儿把UI框架搭好,后续用Codex(Codex每天都在重制啊有没有,几乎是无限token的GPT-6 Astra开着Ultra Fast模式拼命薅)陆陆续续地把这个电子书阅读器的雏形勾勒出来了,以下是一些基础功能,分享给大家,大家如果有什么产品方面的建议也可以留言区告诉我:

1. 尽量还原纸质书阅读的体验

1.1 俯仰皆宜:可以调整俯仰视角,能清晰地看到书籍当前已经阅读的部分和剩余部分的厚度

1.2 翻页拟真

1.3 灵活Zoom in/out

2. 阅读增强

2.1 书中地图可转化为可互动的3D地球仪形态

2.2 章节都可以生成思维导图(可自动全折叠/全展开)

2.3 提供了一个叫做Infinite的AI Agent当你的伴读书童,底层是Pi Agent + DeepSeek-V4.1-Flash-1017

3. 笔记系统

3.1 采用了我最喜欢的inline note的方式(即直接将批注放在内容中,并提供了多种手写字体和颜色的选择,指点江山激扬文字,感觉自己好似金圣叹,哈哈哈)

3.2 提供了笔记的 #tag 标签系统,方便聚类同一部书相同标签的笔记

后续迭代:

将主要聚焦于Agent能力,大幅度增强这个“伴读书童”的能力:

1. 实现由Agent为主导(引导)的阅读体验,比如Agent在阅读过程中随时提出具有挑战性的问题,从而实现读书的IPO 「I(input)-P(processing)-O(output)」的完整链路;

2. 引入游戏化机制,比如完成Agent提出的关于书籍的挑战则获得成就激励等;

总之,如《Token经济》阅读笔记(0)这篇笔记中所言,人要想进步得快,还是要:读好书,多读好书!

而我开发的这个电子书阅读器,就是为了“多读好书”而准备的:工欲善其事必先利其器!

跳转微信打开

  •  

精致利己主义有什么不好么?

warfalcon 2026-10-30 18:40 辽宁

有读者询问:

每个人不是都是利己的么?所谓精致利己主义是什么呢?利己不损人不是最佳策略么?

我觉得有人标榜自己大公无私,不利己只利人的话,我要好好怀疑这个人是否正常,有没有别的心机。

回答:

实际上就一句话:局部最优不等于全局最优。

从时间尺度上看,你根本没办法做到精致利己主义。

很多事放在当下,你觉得自己能分清轻重;放到足够长的时间尺度上看,根本分不清。

举个例子:房地产,三十年里不断反转。按当时的精致利己主义来算,可能全是坑。

90年代,大多数人还停在分房这一步。政府、事业单位、企业多是论资排辈、内部分房。第一波市场化,能选的地方很少,不是偏远就是贵。按精致利己主义算,等分房最划算——至于能不能等到、能不能分到满意的,根本没法量化。

最早的房贷看着是天文数字,一借几十年。按精致利己主义算,最好别贷,或者干脆先不买,等房价降下来再说。后来发生了什么,大家都看到了。

2000到2016年,大家普遍接受房贷,房价一路涨,贷款买房变得有利可图。很多人看出里面的漏洞,杠杆拉满,反复抵押,往往能吃到暴利。各种炒房技巧、炒房组织非常火热,所有人都相信房价永远涨。从精致利己主义出发,有便宜为什么不占?杠杆拉满,甚至借钱炒房。

一直到19年之后,几年内房价崩了。真按彻底的精致利己主义走:等分房、不买房、买房不贷款、最后杠杆拉满——每一步在当时都是对的,可每隔几年,就轮到自己吃亏。

我还认识一个朋友,零几年就出来做买卖,很有生意头脑,算得特别精,就是那种精致利己主义者,做什么买卖自己都不吃亏。刚开始非常赚钱。但时间一长,员工、客户、同行、朋友都开始讨厌他,他只能不断换行业、换人群,才维持得下去。

20多年过去,当年跟他一起做买卖的同行,少的几千万,多的几个亿。只有他,人到中年,从当年的小老板变成给别人打工、偶尔做点小生意,身边也没几个朋友。有好几回吃饭,一桌人就他混得最差。就是太精明了,从来不吃亏,把所有人都烦透了。

更不用说中国共产党的创建史——那就是一群大公无私的人,怎么战胜一群精致利己主义者的故事。

所以,你真的能做到精致利己主义吗?

跳转微信打开

  •  

Mistral Large 4正式开放权重,Pika发布H3 Flex有声视频模型

原创 每日发现最新 2026-10-30 18:40 中国香港

本期关注 Mistral Large 4、Pika H3 Flex、BabelArena、MiniCPM-OCR 1.0、ElevenLabs SFX v3 与 GitHub Replica。

10 月 30 日,今天值得关注的项目覆盖编程与安全、多模态视频、多语 Agent 评测、文档解析、音效生成和交互原型。Mistral Large 4 在 API 发布后开放权重,Pika H3 Flex 提供有声视频适配器与推理代码,MiniCPM-OCR 1.0 将文档解析与结果复核组合起来。

💻 编程与代码安全

★ Mistral Large 4

接收文本与图像,在百万 token 上下文中处理编程、Agent 和网络安全任务。

Mistral 于 10 月 29 日开放 Mistral Large 4 权重,其 API 已于月初发布。模型采用混合专家架构,总参数量为 1 万亿,每次激活约 490 亿参数,计入嵌入层和输出层后约为 520 亿。它支持 100 万 token 上下文,接收文本和图像,输出文本,面向编程、Agent 与网络安全等任务。

本次提供 FP8 与 NVFP4 权重,但万亿参数的整体规模仍对本地部署提出很高要求,NVFP4 路径面向 Blackwell 硬件。模型采用基于 MIT 修改的 Mistral Ecosystem Open-Weight License;将模型用于模型即服务业务,需要另行取得商业许可。开放权重不等于所有商业使用方式都无附加条件。

上手门槛

开发接入:🟢 低|通过 Mistral API 调用

自行部署:🔴 极高|万亿参数权重需多卡资源|NVFP4 路径面向 Blackwell

模型权重:https://huggingface.co/mistralai/Mistral-Large-4-1T-A52B

API 文档:https://docs.mistral.ai/

发布公告:https://mistral.ai/news/mistral-large-4-oss/

🎬 有声视频生成

★ Pika H3 Flex

结合最多 12 个图像、视频和音频参考输入,以六步推理生成有声视频。

Pika 于 10 月 29 日发布 Pika H3 Flex,在 MiniMax H3 基础上进行后训练,将生成过程压缩到六步推理。模型可组合最多 12 个图像、视频和音频参考输入,原生输出支持 480p 与 768p,适合围绕已有素材约束画面与声音。

本次开放适配器和推理代码,权重受 MiniMax H3 社区许可约束,不能将其整体理解为 Apache 许可项目。4K 超分、五音轨分离和加速服务由 API 提供;创作网页计划于 11 月 2 日上线,尚不属于当前可用入口。官方验证的自行部署环境使用 H100 80GB,大请求可通过 CPU 卸载缓解显存压力。

上手门槛

自行部署:🔴 高|官方验证环境为 H100 80GB|大请求可使用 CPU 卸载

模型与适配器:https://huggingface.co/Pika-Labs/Pika-H3-Flex

发布说明:https://creation.pika.art/blog/pika-h3-flex

🌐 多语 Agent 评测

★ BabelArena

在 23 种语言的任务和工具环境中,评估 Agent 的任务完成能力与语言一致性。

Qwen 的 BabelArena 覆盖 23 种语言、13 个领域和四个基准家族。它将多语评测延伸到工具环境、模拟用户和评分文本,让 Agent 在相应语言的完整交互链路中执行任务,减少只翻译题目带来的评测偏差。

基准同时观察任务成功率、连续三次均成功的稳定性,以及执行过程中的语言一致性。项目报告显示,低资源语言场景更容易出现工具调用错误或切换到英语的现象,这些问题可能被单次任务的最终得分掩盖。

代码和数据已公开,统一运行器采用 Apache 2.0 许可,上游组件和数据各有许可边界;仓库同时标明,DeepPlanning 等部分内容的再分发许可尚未明确。运行评测需独立下载数据,并接入被测模型和辅助模型,部分任务还需工具沙箱。

上手门槛

自行部署:🟡 中|需接入被测模型与辅助模型|部分任务需要工具沙箱

评测仓库:https://github.com/QwenLM/BabelArena

数据集:https://huggingface.co/datasets/Qwen/BabelArena

📄 文档解析与复核

★ OpenBMB MiniCPM-OCR 1.0

以 1.3B 模型解析中英文复杂文档中的文字、表格、公式、印章及关键信息。

OpenBMB 于 10 月 28 日发布 MiniCPM-OCR 1.0。这个 1.3B 参数模型面向扫描件和拍照文档,可处理弯曲、倾斜等版面情况,提取中英文文字、表格、公式、印章与关键信息。项目同时提供 PPDocLayoutV3 布局模型与 SDK,将版面分析和内容识别组织为解析流程。

同批发布的 2B 参数 MiniCPM-OCR-Jev 用于检查已有 OCR 结果,对文字、公式和表格输出 0—1 分数,供后续复核参考。解析模型负责生成结果,评估模型为结果筛查提供另一条路径;分数仍需结合业务要求设定复核规则。

项目代码和权重采用 Apache 2.0 许可,并提供多种量化版本。开发者可以通过 SDK 组织解析管线,也可以调用云端 OCR 服务;自行部署时需考虑布局识别与内容识别组件的组合。

上手门槛

开发接入:🟢 较低|提供 SDK 与云端 OCR 服务

自行部署:🟡 中|需组合布局识别与内容解析管线|提供多种量化版本

模型权重:https://huggingface.co/openbmb/MiniCPM-OCR-1.0

项目仓库:https://github.com/OpenBMB/MiniCPM-OCR

云 API 文档:https://platform.modelbest.ai/console/docs/api/ocr

🔊 音效生成

★ ElevenLabs Sound Effects v3

根据文字提示生成音效,改进同一提示中多个声音元素的呈现。

ElevenLabs 于 10 月 29 日发布 Sound Effects v3。此次更新重点是更准确地响应包含多个音效元素的提示,同时改进音乐和人声内容的自然度,便于创作者在一个描述中组织更丰富的声音场景。

Sound Effects v3 已在 ElevenCreative 和 ElevenAPI 上线,采用托管服务,没有开放模型权重。官方文档将其列为有限开放,账号与地区会影响可用性,尚未获得权限的 API 请求可能返回 Unknown model;接入前需确认账户实际权限,使用按平台服务计费。

上手门槛

在线使用:🟡 中|受账号权限及地区开放范围限制

开发接入:🟡 中|受账号权限及地区开放范围限制|按平台服务计费

在线体验:https://elevenlabs.io/sound-effects

API 文档:https://elevenlabs.io/docs/overview/capabilities/sound-effects

发布公告:https://elevenlabs.io/blog/sound-effects-v3

🛠️ 交互原型制作

★ GitHub Replica

结合现有组件、设计规范与文档,用自然语言构建和迭代交互原型。

GitHub 于 10 月 28 日以 MIT 许可开放 Replica。它将已有组件、设计规范和项目文档纳入原型制作过程,让使用者通过自然语言在 Copilot 应用中持续调整交互,便于在实现正式功能前验证界面与操作流程。

普通本地原型流程可以不部署服务器,但仍需 Copilot 套餐或自行提供模型服务;自备模型提供商功能处于公共预览阶段。团队需要集中分享和评论时,可选部署 Replica Hub,这会增加服务部署与维护工作,不是开始制作本地原型的必要步骤。

上手门槛

自行部署:🟢 较低|可在本地制作原型|需 Copilot 套餐或自备模型服务

项目仓库:https://github.com/github/replica

本地原型文档:https://github.com/github/replica/blob/main/docs/local-prototyping.md

跳转微信打开

  •  

给智能定价:DeepSeek、Kimi 和中国 AI 公司的不同选择

原创 晚点团队 2026-10-30 18:27 北京

大模型价格战打了两年,厂商仍在学习如何收费。

文丨祝颖丽

编辑丨赵磊

今年 5 月,小米宣布 MiMo-V2.5 系列 API 永久降价,最高降幅达 99%。6 月,腾讯云下调平台上的 DeepSeek-V4 系列价格,最高降幅 97.5%。8 月,DeepSeek 调整 V4 系列报价,引入峰谷差价。9 月,随着新模型发布,价格又降了一轮。

这样的消息越来越多。模型公司热衷于宣传价格。降了多少,每百万 token 最低只要几分钱,比竞争对手便宜几倍,都是容易传播的数字。看上去,大模型正在成为一种标准商品,各家公司生产的 token 大同小异,价格越低,竞争力越强。

实际上,token 只是统一了计费单位,各家出售的 token 成本不同,单 token 带来的智能价值也不一样。DeepSeek 强调 “合理利润”,和 Kimi 注重 “极致性能”,其他模型公司也各有侧重,一种奇妙的分野在最近半年逐渐形成。

给模型定价,已经成了公司筛选客户、分配算力、改善利润,乃至影响对外技术叙事的手段。

怎么给一款模型定价?

“价格的本质是什么,我只回复一个词:价值。”《定价制胜》的作者赫尔曼·西蒙说。

但对大模型产品来说,技术在按月进化,应用却还没有充分验证,“价值” 仍难以量化、定价方式也很难类比其他成熟商品。

综合公开信息和多位大模型厂商商业化员工的说法,我们发现大模型产品目前基本只有两种定价方式:成本定价法和市场定位定价法。有些公司更偏成本端,比如 Deepseek 和小米 Mimo,其他大部分厂商更侧重市场定位。

成本定价法比较简单,公司算出持续提供服务需要花多少钱,再加上希望赚取的利润,算出一个价格。这笔成本主要包括推理算力、网络、存储和运维,不计算前期模型研发支出和销售、薪酬等其他经营费用。

DeepSeek 最为典型。今年 5 月,梁文锋在一场投资者交流会上解释过 DeepSeek 的定价原则:API 业务以十个月收回设备投入为目标。在他看来,这已经是可以接受的回报,没有必要把价格提高到收入或利润最大化的位置。

按照他的计算,⼗个⽉收回成本,5 年左右的折旧年限,⼤概对应的是六倍利润。做一个简化计算:假设成本只考虑折旧,对应的毛利率需要达到约 83.3%。根据《The Information》援引知情人士的报道,DeepSeek 今年前七个月的 API 业务毛利率为 82.9%,与这一测算相近。

这种思路也体现在后续的价格调整中。9 月发布 V4.1 Flash 时,公司表示,新架构把 KV Cache 对高带宽显存的需求降至上一代的四分之一,对 SSD 的需求降至八分之一。随后,缓存命中和输出 token 的价格也降了下来。

减少重复计算、压缩缓存、提高吞吐量,都能变成降价空间。但成本也并不是全部的解释,为了让算力和设备充分被利用,DeepSeek 也会根据需求来调整价格。

比如 8 月,DeepSeek 引入峰谷定价,闲时调用的价格,只有高峰时段的一半。9 月模型降价后,峰谷差价仍然保留。这种价格策略让高峰的拥堵得以缓解,闲置的设备也能挣到钱。

一位模型公司的商业化员工形容,DeepSeek 的定价有种 “以我为主” 的意味:“他去划定了一个特殊的产品类别空间,然后主导了这个产品类别空间里的变化。”

大部分其他模型厂商不这么定价。在推理成本外,他们首要考虑的是市场定位,是在诸多模型的性能、价格的参考坐标体系里找到自己的位置。

上述大模型厂员工称,每家定价时,想的都是要去到什么样的价格带,“本质上是模型定位嘛,大家都是朝着这个模型定位去做。”

一个新模型发布前,商业化部门通常要和 Infra 部门一起测算真实负载下的推理成本,再参考第三方评测、内测客户的反馈和业务目标。价格往往由多个部门一起决定。

以 Kimi 的 K3 模型为例,这是一款总参数 2.8T、每 token 激活参数约 104B 的大模型,运行成本不低。

英伟达分销商 Openzeka 曾用一台 8 卡 B300 服务器测试 K3。按测试结果折算,这台机器每小时可处理约 405 万输入 token 和 405 万输出 token。如果用 Runpod 上 B300 单卡每小时 8.99 美元的租金粗略计算,处理 “百万输入 token 加百万输出 token”,仅算力租金就约为 17.7 美元。

这与月之暗面的真实成本必然有出入,但已经足以说明,K3 很难成为一款廉价模型。

有了大致的成本范围,下一步是找对标产品。

7 月 17 日,Artificial Analysis 测算,K3 的综合能力接近 Claude Opus 4.8 和 GPT-5.5。当时,两款模型的输入价格分别为每百万 token 5 美元、4 美元,输出价格为 25 美元、20 美元。

Kimi 最终给 K3 定的价格是输入 3 美元、输出 15 美元。

这个数字还包含了公司的战略选择。K3 发布后,月之暗面的 B 端负责人曾公开表示,不希望中国模型一直被贴上低价标签。能力达到前沿水平,就应该卖出合理的价格。相比此前的模型,K3 希望保留更充足的毛利空间,尝试建立旗舰模型的溢价。

实际任务场景中的客户测试也会影响报价。一位模型厂商的工程师说,现在大家越来越重视 “单 Token 智能”,而不是纯粹的性价比。如果小范围的客户测试下来,一个任务能用更少 Token 完成,Token 的单位定价会提高;相反,则会往下调整。

Artificial Analysis 曾让 K3 和 GLM-5.3 执行同一项任务。K3 消耗约 1.6 亿 token,GLM-5.3 用了约 2 亿。K3 的 token 单价更高,两者完成任务的总花费相近。

成本、竞品、测试结果决定了大致价格。最后还会有一些更细的取舍。Kimi 就曾决定,同一个模型,中国市场的报价要比海外低,“哪怕只是 1 毛钱”。

渠道也会影响定价。除了原厂直接提供 API,模型也可以由云平台代销或托管,由聚合平台转接,或者由客户自行部署。原厂的公开报价相对固定。其他渠道则要考虑上游采购成本、设备价格、部署效率和运维支出。在许可允许的范围内,云厂商和算力服务商可以自行部署开源模型,按照自己的成本和效率报价,可能会挤压原厂的收入。

梁文锋在那场投资者交流会上谈到了这件事。他判断,原厂如果索取极高利润,即使第三方运行效率较差,也能通过低价抢走客户。DeepSeek 按十个月收回设备投入的标准收费,已经把价格压到一个第三方很难匹配的位置,能让官方 API 保持价格优势的同时留有利润。

据我们了解,绝大部分二级算力供应商都无法把 DeepSeek 模型优化到官方宣称的水平。

DeepSeek 压成本,Kimi 用高价匹配高性能

一款模型价格的诞生过程是趋同的,不同厂商的追求却能塑造不同的价格结果。

Kimi K3 和阿里 Qwen Max,是两款尺寸相近的大模型。K3 总参数 2.8T,每 token 激活参数约 104.2B;Qwen Max 总参数 2.4T,激活参数 95B。两者在同一个量级,价格却相差不少。千问的输入 token 单价是 Kimi 的 60%,输出价格还不到后者的一半。

阿里云的销售向我们强调 Qwen 模型的 “性价比”, Kimi 的员工则认为,在高性能的模型中,“性能” 比价格更重要。

在 Kimi 的战略定位里,他们更重要的目标是探索 “智能上限”,是让模型处理更复杂、耗时更长的任务,并找到愿意为这种能力付钱的客户。“只有当你的性能达到一定程度之后,才谈得上降价策略。本质上,客户不会因为你贵个几分钱就跑到别人那里去。” 接近 Kimi 的人士说。

他认为,极高性能肯定不是市场最普遍的需求,但中国得有人能做这样的事情,“虽然从赚钱角度看,它不一定是最赚钱的。” 在他看来,旗舰模型应当为更强的能力收费,没必要一开始就追求最广泛的使用量。

其他公司未必认同。一位模型公司的算法工程师认为,Kimi 的高价会限制使用规模,而当前对大模型公司来说,第一优先级应该是真实场景中的使用量,只有这样才有数据飞轮,“你定一个跟美国一样的价格时,某种程度上就是不想卖。”

不过,在一位熟悉各家模型的资深 AI 产品经理看来,Kimi 其实也在国内 API 市场之外,找到了一条独特的生存路径:出海做硅谷应用层的后训练 “底座”。

比如今年 3 月,Cursor 推出基于 Kimi K2.5 继续训练的 Composer 2。7 月,月之暗面与 Together AI 宣布合作,后者通过部署在美国的基础设施提供 K3,并允许客户使用自己的数据进行后训练。8 月,法律 AI 公司 Harvey 公布了基于 K3 的模型 Tenet 研究预览。

Kimi 团队也在旧金山湾区竖起了巨幅广告牌,主动去拓展更多类似的海外应用公司,通过高价值的技术合作来消化大模型的商业化压力。

而对阿里云乃至火山引擎等云厂商来说,模型 API 本身既是一门生意,也是客户进入 AI 云的入口。企业一旦把模型接入生产系统,往往还需要算力、开发工具、数据处理、部署和长期运维。云厂商可以先用便宜的模型获得客户,再从后续服务中赚钱。

因此,一家公司给 token 设置的价格,很大程度上取决于它准备在哪里获得利润。

不同的选择,在今年各家公司的调价中表现得更加明显。

DeepSeek 一直强调 “克制”。梁文锋在投资者交流会上曾用一个假设解释他的想法:“假如设 AI 能够占到全球 GDP 的 20%,如果我的目标是占里面的 5%,理论上算账是成立的,就像 OpenAI 一样;但它一定会被另一个愿意只占 1% 的人打败,而占 1% 的人又会被只要 0.1% 的人打败。”

他不想把利润定在竞争对手有足够动力来争夺的位置。十个月收回设备投入,就是 DeepSeek 选择的一条线。超过这条线的利润,不一定值得。价格足够低,保证合理利润的同时减少第三方部署的竞争,在用户负担得起、收回设备投入和分配有限算力之间达成平衡。

技术效率的提升为这种平衡创造了条件,9 月发布 V4.1 Flash 时,DeepSeek 明确将 API 降价与新架构带来的成本下降联系起来。但算力紧张时,它也会通过价格限制需求。

智谱今年也频繁调价,但主要是涨价。

随着开放平台及 API 业务成为智谱的收入主体,API 定价对智谱经营的影响更加直接。2026 年上半年,智谱开放平台及 API 业务收入达到 8.25 亿元,占公司总收入的 86.5%;这项业务的毛利率从 2025 年上半年的 −0.4% 提升至 24.6%。智谱在财报中将改善归因于规模效应、价格上调和推理成本下降。

涨价已经成为这家上市公司改善盈利能力的一种手段。

过去,依靠唐杰等清华系科学家的学术影响力,智谱在技术圈与政企端积累了不错的口碑,但商业化团队的建设却明显滞后。

今年 2 月,智谱就曾因 GLM Coding Plan 改版致歉,当时新模型发布后流量超出预期,因为扩容不及时,部分用户无法及时获得使用权限或遭遇限流。公司承认规则不透明、升级机制设计粗糙,并向受影响用户提供退款选择。

一位近期从大厂跳槽至智谱负责区域商业化的员工发现,智谱华东区域商业化团队人数极少,她刚入职就得独自连轴转去支持各大展会。在拜访客户时,一家头部车企的业务人员向她抱怨,过去想找智谱谈合作根本找不到对接人,只能打官网上的 400 电话;还有客户为了谈成合作,不得不先通过清华校友圈找到智谱的技术人员搭线。

模型能力已经吸引了客户,对智谱来说,眼下要解决的是如何通过商业化手段把技术优势变成足够的收入和利润,既能负担下一轮研发,也能回应资本市场对盈利的期待。

相比之下,云厂商的模型价格体系就更加稳定。

一位云厂商 MaaS 平台的产品经理说,大厂客户最看重稳定,长期稳定一个目录价能塑造更好的客户体验,即便底层优化带来成本下降,他们也会转化为私下给不同量级客户的 “差异化商务折扣”。

阿里云和火山引擎都已经有成熟的销售体系、运营团队和庞大的企业客户群。对这类公司来说,价格本身就是谈判工具。

不过,阿里云和火山引擎 Maas 平台近期都推出过 9.9 元拉新的活动,熟悉大客户生意的云厂商也开始用几乎不赚钱的低价套餐争夺个人开发者。对他们来说,如何真正吸引更大范围的个人开发者用户、提高自营模型影响力,是一个新的考验。

大模型定价的分化还在继续。随着模型能力在进步,推理成本在下降,用户开始把越来越复杂、耗时越来越长的工作交给 AI;但除了依据消耗 token 的成本,至今没有更好的方式去衡量 AI 创造了多少价值。

题图来源:《大而不倒》

- FIN -

跳转微信打开

  •  

QECon北京2026|小红书创新产品的 AI Native 质量工程实践

原创 REDtech 2026-10-30 18:04 湖北

小红书 Lab1327 打造了 QE Agent,目前已覆盖多个 App 和 PC 端产品,每月完成150余次完整测试。

导读

过去,AI 在测试中主要承担辅助角色,需求验证仍由测试人员主导。我们希望,Agent 能理解需求,自己决定该测什么、怎么测,根据现场变化推进测试,并判断实际测试结果是否符合业务预期。

围绕这一目标,小红书 Lab1327 打造了 QE Agent,目前已覆盖多个 App 和 PC 端产品,每月完成150余次完整测试。本文结合这些实践,分享从 AI 辅助测试走向 Agent 自主验证的探索,重点介绍上下文工程与多端质量知识图谱如何支撑测试决策,以及 Agent Loop、动态执行 DAG 和联合断言如何在测试执行与结果判断中协同工作。

01

QE Agent:从 AI 辅助测试到自主验证

过去,我们用 AI 生成用例,尝试用自然语言执行 E2E,也有接口、日志和数据准备工具。但 AI 本身并不了解我们的业务,也不知道一项需求具体该怎么测。测试人员仍要补充业务背景,写清入口、步骤和检查点,反复调试,把工具串起来推进整轮测试。单个环节快了一些,人却没有轻松多少。为此,我们打造了 QE Agent,希望让 Agent 自主组织和推进完整的需求测试。测试人员明确需求和业务预期后,Agent 据此设计用例、调用测试工具,根据现场执行反馈推进测试,并逐项判断实际结果是否符合预期。

图 1:QE Agent 整体架构。Agent 组织需求理解、测试设计、执行与结果判断,上下文工程、知识图谱和执行底座配合完成需求验证。

02

业务理解:测试上下文与跨端关系

2.1 以用例为单位的上下文工程

Agent 要测试,首先需要明确当前测什么,预期是什么,以及已经完成了哪些操作。随着测试持续推进,用例、截图和日志不断累积,每步读取全部历史会增加耗时和 Token 消耗,也容易让 Agent 在执行中遗漏用例的前置条件、操作步骤和预期细节。

图 2:不断累积的测试记录。每一步都带上全部历史,会增加 Token 消耗,也容易让 Agent 忽略当前用例的前置条件和预期。

上下文管理的常见方法包括上下文压缩、外置记忆、按需检索和上下文隔离。为减少重复读取,同时保留可回查的原始记录,我们结合后三种方法:需求、用例和执行记录完整保存在对话之外,Agent 按当前用例读取前置、步骤、预期和进度,截图与日志按需补读。

按用例读取后,Agent 还需要跟进执行中的变化。每次工具调用后,Agent 将新增操作、结果和进度补入当前上下文,未变化的信息继续复用,用于判断下一步。

图 3:按用例组织上下文。需求与执行记录完整保存;Agent 读取当前用例需要的内容,测试过程中再补上新的操作和结果。

我们围绕“AI 页交互优化二期”需求做了一次上下文管理对比实验,覆盖 22 份双端设计、94 条预期和 94 个原始操作。与关闭上下文管理的基线相比,耗时下降 59.6%,累计总 Token 下降 65.1%,工具返回文本由 9.81 MB 降至 1.80 MB。

这样,上下文减少了重复内容,Agent 更容易看清当前要测什么,要测到哪一步,以及还缺哪些证据。

2.2 为什么选择多端质量知识图谱

除了用例和执行记录,Agent 还需要掌握业务关系,包括页面入口、数据前置和跨端调用。例如,QE Agent 在验证“采集图片审核通过才能分享”时,曾将“采集”理解为“收藏”,进入错误场景。找到入口后,Agent 只追到 RN 分享调用,没有查清后续的原生桥接和审核接口。把实际的分享链路展开,可以看到:Agent 需要先从个人页进入采集列表,并确保列表中已有采集数据。发起分享后打开 RN 分享页,分享页再通过 iOS 原生桥接请求后端审核接口。

图 4:采集图片的分享过程。Agent 需要找到采集入口、确认已有采集数据,再查清 RN 页面如何经 iOS 原生桥接调用审核接口。

最直接的做法,就是把业务知识整理成文档,保存在代码仓库或文档库中,再通过文件或语义检索让 Agent 找到相关内容。但关系分散在多份材料中时,Agent 仍要从检索结果中提取、拼接。因此,我们采用多端质量知识图谱,显式保存已确认的入口、数据前置和跨端调用关系,供 Agent 在后续测试中沿关系查询页面、路由与接口,并追溯源码和版本。

2.3 图谱构建与关系检索

构建时,我们先提取各端、各语言的代码结构,统一表示页面、路由、接口及跳转、调用关系;以规范化路由连接原生入口与 RN、H5 页面,以 HTTP 方法和路径连接客户端与后端。在实际测试中,Agent 再用截图、UI 树、操作记录及接口日志核对实际行为,分开记录源码确认、真机观察和断言验证状态。每条关系保留来源、版本和证据,随代码变化核实更新。

图 5:图谱关系的来源。页面、路由与接口先从源码中提取,再用真机操作和接口日志核对,每条关系都能查到来源与版本。

以“向已有内容中添加记录”为例,Agent 先用业务描述匹配知识库中的页面名称、入口路径和操作记录,找到相关场景。如果已有具体路由或接口标识,就直接定位关联场景;当前已选场景也会一并纳入。几路结果按场景合并去重,明确标识和已选场景优先,再按匹配程度排序。

接着,Agent 将匹配结果作为查询起点,沿跳转、依赖和调用关系做广度优先搜索(BFS),把关联页面、数据状态和接口串成路径,同时限制深度与路径数量。Agent 拿到路径及其来源、版本后,再核对当前平台与用例,确认从哪里进入、需要哪些数据前置,以及操作后应回查哪些接口。

在 200 题离线自评中,页面定位命中率为 95%,关系召回率和精确率(微平均)均为 97.02%。

图 6:添加记录会经过哪些页面和接口。Agent 沿图谱查找相关路径;右侧是 200 题离线自评的整体结果。

03

验证设计:从业务预期到测试结论

3.1 根据业务预期选择验证能力

查清业务关系后,Agent 还要根据预期确定验证范围,再选择相应能力。

QE Agent 曾在一次消息中心测试中,用 Mock 数据验证消息展示和蓝点清除,测试结果都正常。但测试人员随后通过真实业务触发消息,发现 iOS 收不到消息。我们排查后发现,后端异步链路漏传了实验所需的版本信息。这次 QE Agent 只验证了客户端展示,漏测了真实消息送达链路。

这次漏测说明,Agent 在调用工具前,需要先确定验证哪些业务环节、每个环节需要什么证据。为此,我们采用先规划、再执行(Plan-and-Execute)的方式组织测试:Agent 先明确用例的前置条件、步骤、预期和平台,再复查需求覆盖与取证安排,补齐缺口后从业务预期倒推所需能力。

例如,需要检查页面交互和展示,Agent 就选择多端执行;需要核对服务端数据,就选择接口回查;需要验证异步送达或排查异常,就查询日志。同一条用例需要多类证据时,组合相应能力;前置数据不足,则先准备数据。

图 7:根据业务预期选择测试方法。Agent 检查用例能否覆盖需求,确定每项预期所需的操作和证据,再用逻辑 DAG 表达任务依赖。

3.2 逻辑 DAG 与动态执行 DAG

选定能力后,Agent 还要明确操作顺序与依赖。例如,它完成数据准备后才能操作页面,操作产生的对象 ID 又是后续回查的输入。我们用逻辑 DAG(有向无环图)表达 Agent 的验证计划:节点表示准备、操作、取证等任务,边表示依赖。

执行中可能出现新的证据缺口,原计划也需要随实际结果调整。为跟踪计划在执行中的变化,我们用动态执行 DAG 记录任务依赖和执行状态。它根据保存的计划、实际调用和工作状态生成并更新,保留已完成结果。Agent 据此跟进进度,证据不足时追加取证并调整后续依赖,从当前进度继续。

图 8:测试计划随执行变化。Agent 保留已经完成的工作,遇到新的取证需要时追加任务;动态执行 DAG 记录这些变化和实际进度。

3.3 联合断言与结果判断

执行任务完成后,Agent 还要判断实际结果是否符合业务预期。有些预期需要同时核对页面表现、对象关系和服务端数据,因此 Agent 在规划取证(Planning)时就要明确证据来源和获取方式。以“复制内容 A 得到副本 B,再给 B 改名”为例,Agent 需要确认 A、B 的 ID 不同、B 的修改保留、A 的原数据不变。为此,Agent 在操作前留存 A 的初始数据,保存新名称后退出并重新进入 B 页面截图,再通过接口回查 A/B 的 ID 与数据。

图 9:复制内容后的检查。Agent 核对原内容与副本的 ID、改名后的页面和前后数据,检查副本是否独立、修改是否保留、原内容是否不变。

取得证据后,Agent 进行联合断言,核对用例、账号和操作归属,逐项比较预期与实际结果。证据充分且符合预期则通过,明确不符则失败;不足或矛盾则记为待补证,再重新规划取证(Replanning)。

若缺少操作后 A 的回查结果,Agent 会选择接口能力,按 ID 补查 A 并与初始数据比较,再结合 B 的已有证据重新判断。新增补查任务保存后,动态执行 DAG 随记录更新,原业务预期不变。报告保留判断理由和所用证据。

图 10:联合断言的判断过程。Agent 把实际证据与业务预期逐项核对;证据不够或相互矛盾时,补查后再作判断。

04

持续执行:现场决策与任务恢复

4.1 测试数据准备与清理

验证计划明确后,Agent 需要先满足用例的前置条件,才能执行相应操作。例如,要验证分组内的记录操作,分组中就需要先有指定记录。

因此,QE Agent 先核实用例的数据前置,查询已有数据,满足则复用;有缺口时,规划如何补足数据(Planning)。Agent 对照目标状态与能力目录,组合已有 UI/API 操作,确定参数与顺序,再调用工具执行并独立回查,未满足则调整规划。确需新增能力时,Agent 依据代码或 API 实现,经测试、清理验证和注册后使用。Agent 保留对象 ID 与回执,测试后据此清理并确认。

图 11:为用例准备数据。Agent 检查现有数据能否满足条件,有缺口时补齐并独立核对,测试结束后再清理本次创建的数据。

4.2 Agent Loop 与现场执行

前置条件满足后,Agent 要将用例步骤转成设备可执行的动作。我们先解决动作落地(Action Grounding)问题:Agent 结合页面知识、当前截图和必要的 UI 树,通过多模态理解定位目标、确定动作和参数,再交给执行器。点击、输入、滑动等操作由设备自动化工具完成:iOS 使用 WebDriverAgent(WDA);Android 优先使用 uiautomator2,必要时通过 ADB 执行基础操作。

动作发出后,Agent 还要通过页面反馈确认操作是否生效。例如,关闭侧栏时,Agent 先尝试系统返回。工具调用没有报错,但操作后的截图显示侧栏仍然打开,说明关闭目标尚未达成。Agent 据此调整动作,改为点击灰色遮罩,随后确认侧栏关闭。

图 12:系统返回后,侧栏仍然打开。工具没有报错,页面却没有达到预期,Agent 需要根据截图继续处理。

为处理这类现场变化,我们采用 ReAct 式 Agent Loop,让 Agent 在“观察—判断—执行—再观察”中持续推进:目标达成后进入下一步,操作未奏效时调整动作,发现疑似业务异常则保留证据、核对预期;无法继续时,由 Harness 保存阻塞与恢复状态。动态执行 DAG 跟踪任务依赖与进度,Agent Loop 处理每步操作的现场反馈。

图 13:Agent Loop 如何推进测试。Agent 根据当前页面确定动作,操作后确认实际变化,再决定继续执行、调整操作或核查异常。

4.3 Quality Harness 的进度管理与中断恢复

Agent 在处理现场变化的同时,还要持续跟进整项需求的未测项。我们曾遇到 Agent 明知还有未测项,却释放设备并结束执行。

为此,我们明确了 Agent 与 Quality Harness 的分工:Agent 专注于测试决策,包括测什么、如何验证、下一步做什么,以及结果是否符合预期;Harness 将用例、计划、操作与证据关联起来,按场景和平台跟踪完成、失败、阻塞和未执行状态,并管理账号、设备的申请、占用、释放与异常清理。

有了这些记录,Agent 就能核对剩余任务和缺少的证据,继续推进可执行项。这些记录也用于中断恢复:Agent 重新读取原需求、计划、已确认结果和未完成项,核验设备、账号等实时状态后,从原进度继续。整轮结束时,Agent 再汇总结论、证据、阻塞与未执行项,交付报告。

图 14:测试进度与中断恢复。Harness 保存用例、操作和证据,Agent 据此检查未测项;中断后核对状态,再从已有进度继续。

通过这样的分工,Agent 专注于测试判断,Harness 保留整项需求的进度与依据,帮助 Agent 既弄清每条用例怎么测、结果怎么判,也持续跟进未完成项,让需求测得明白,也测得完整。

05

实战结果:真实需求中的测试表现

这套方案已应用于多个业务场景,覆盖 App 与 PC 端。下面结合实际案例,介绍 QE Agent 如何推进整轮测试、处理现场变化,并结合证据判断结果。

5.1 AI内容创建场景的需求验证

在一次 AI 内容创建测试中,QE Agent 围绕不同输入条件设计了 50 条用例,逐条明确操作步骤、预期结果和检查方法。测试不仅检查内容能否成功创建,还要核对创建结果是否符合用户要求。

图 15:AI 内容创建的测试安排。50 条用例覆盖不同输入条件,既检查创建是否成功,也核对结果是否符合要求。

QE Agent 随后逐条执行。遇到异常时,它保留操作和结果,继续其余可执行用例。最终,50 条用例均留下执行记录,37 条无异常通过,13 条出现异常,整轮任务没有停在某一次报错上。

图 16:50 条用例都有执行记录。37 条无异常通过,13 条出现异常;发现异常后,Agent 保留结果,并继续其余可执行用例。

其中,C18 指定的参数值为 3,创建结果也已保存,但详情页显示的对应值却是 2。QE Agent 通过联合断言,将同一条用例的输入、保存结果和详情页内容一起核对,找出了 3 条同类异常。仅检查创建是否成功,会漏掉这些问题。

图 17:创建成功,结果却未达到要求。指定参数值为 3,详情页对应值却是 2;联合核对输入、保存结果和页面内容后,Agent 找到了差异。

另一类异常发生在内容创建过程中。收到工具调用次数超限的报错后,QE Agent 在原计划之外追加日志诊断任务,沿调用链核对请求、执行与保存结果,确认是被测产品的业务 Agent 用尽了工具调用次数,任务因此中断,结果没有保存。动态执行 DAG 随计划更新,记录新增诊断任务及执行状态。

图 18:创建结果为什么没有保存。QE Agent 追加日志诊断,确认被测产品的业务 Agent 用尽了工具调用次数,导致任务中断。

5.2 多机型卡片回归

在卡片回归中,检查数量取决于 AI 的实际回复。QE Agent 先规划测试:各机型新建会话、发送同一问题,等待 AI 完整输出;有卡片就逐张点击并检查目标页是否正常,无卡片则记录跳过。

图 19:实际回复决定要检查哪些卡片。Agent 等待输出完整,有卡片就逐张检查跳转,没有卡片则记录跳过。

实际执行覆盖华为、OPPO、vivo 三款机型,分别检查 4、4、6 个跳转点。OPPO、vivo 首次点击卡片时进入了登录页,Agent 根据现场反馈返回原卡片重试,最终 14 项跳转均正常。Agent 在报告中保留了首次进入登录页、重试后正常的过程,供后续排查这一差异的原因。

这一过程中,Agent 根据实际卡片展开检查任务,通过动态执行 DAG 跟进已检查和未完成项;通过 Agent Loop 处理返回、重试等具体操作。

图 20:三款机型的卡片跳转结果。14 项最终均正常;OPPO、vivo 首次进入登录页,返回原卡片重试后正常,首次跳转差异仍待排查。

5.3 修复验证与埋点检查

实际提测中,一项任务可能同时包含多个验证目标。例如,一次提测要确认业务 AI 使用用户已提供的参数、不再重复询问,并检查相关页面的曝光和点击埋点。QE Agent 因此组合多端执行与埋点校验能力,在验证修复的操作中触发上报,再核对上报记录。

在修复验证中,QE Agent 将参数设为 4 ,确认被测业务 AI 收到的也是 4,且没有再次询问。对于同一操作触发的曝光和点击,它也核对了上报记录与字段,两项均通过。页面结果和埋点结果分别对应各自的验证目标。

图 21:在验证修复时一并检查埋点。Agent 确认业务 AI 使用已提供的参数、不再重复询问,同时核对曝光和点击上报。

5.4 测试规模与执行效率

QE Agent 每月完成 150 余次完整测试,发布 150 余份报告。在一个需求与预期清晰的案例中,人工借助 AI 测试预计需 3 天,QE Agent 从理解需求到发布报告实际用时 5 小时。

图 22:从理解需求到交付报告的用时。在这个需求与预期清晰的案例中,人工借助 AI 测试预计需 3 天,QE Agent 实际用了 5 小时。

仅有页面图、缺少操作说明和业务预期时,Agent 仍可能漏测或误判,需要测试人员补充信息、纠正结果。因此,提效要建立在验证效果之上,既要看执行效率,也要看覆盖是否完整、判断是否准确。

06

展望:持续提升验证效果

后续,我们将继续提升 QE Agent 的验证效果,重点关注测试覆盖是否完整、结果判断是否准确。我们计划把漏测、误判和人工纠正整理成评测样本,比较新旧策略,再用未参与调优的需求检验效果。

同时,我们计划将 QE Agent 接入 AI 辅助开发流程,让其在开发前明确验收要求,开发中按需验证,完成后保留独立测试,进一步解放测试人员的双手。

///

关于团队

Lab 1327 是小红书的创新产品实验室,我们关注技术、文化与生活方式,以用户需求为基础,致力于从 0 到 1 探索和打造 AI-native 创新产品。

我们为研发同学提供从 0 到 1 参与或者发起产品建设的机会,覆盖 App 开发、Agent建设、后端服务、用户增长数据链路建设等多个环节。

我们期待具备全栈能力、关注用户需求与产品价值的同学加入,共同推动创新产品的研发与落地。

校招:

【2027校招】全栈工程师(AI native)-Lab 1327 小红书招聘

社招:

AI Native工程师(创新应用)小红书招聘

AI Native 工程师(AI Agent方向)小红书招聘 

📮 内推简历投递:

liyingchao@xiaohongshu.com

Lab1327 其他岗位产品、设计等可登录小红书招聘官网查看。

跳转微信打开

  •  

腾讯TGR:以生成式范式重塑推荐系统

原创 腾讯程序员 2026-10-30 17:36 广东

从生成式排序、端到端生成到大模型推理增强,迈向Agentic自进化

作者:李裕东、王云龙、朱俊璋、庞雲升、苏宏阳

工业级推荐系统长期依赖"召回–粗排–精排–重排"级联架构,却面临三大结构性瓶颈:模型缺乏规模效应,算力与参数增加后效果饱和;逐条打分、逐级截断,难以刻画整屏列表质量;冷启动、长尾和意图模糊场景表现欠佳。为此,我们提出生成式推荐技术栈 TGR,沿生成式排序(GenRank)、端到端生成(GenRec)、推理增强(Reason)三个方向推动级联架构演进:CCFormer 替代传统排序模型,BARGE、HiGR 端到端生成物品与整屏列表,大模型隐式推理注入在线生成模型。TGR 已在新闻、视频、小说等 10 多个场景落地,核心指标显著提升,多篇论文发表于 AAAI、ACL、CIKM 等顶会。

引言

传统推荐系统长期沿用一套级联架构——召回、粗排、精排、重排——每一级由独立优化的深度学习推荐模型(DLRM)驱动。这套架构正同时面临三个结构性挑战。第一,碎片化的 DLRM 架构用分别设计的模块处理高基数、异构的特征,不具备 LLM 式的 scaling law:模型容量与算力增长之后,效果趋于饱和。第二,分阶段优化与逐级候选截断把决策过程切碎,逐 item 的 pointwise 打分忽略了决定整屏列表质量的 item 间依赖与位置效应。第三,协同信号驱动的模型在多模态语义理解、世界知识与推理能力方面能力不足,而这些能力恰是应对冷启动、长尾及用户意图模糊等场景的关键。这三大挑战正在推动整个行业从级联范式转向生成式范式:统一、可扩展的序列建模带来排序模型可预测的 scaling,端到端生成把整屏列表作为一个整体来决策,用大模型先验引入世界知识与推理能力。

面向 PCG 业务中内容模态、用户群体、候选规模与延迟要求各不相同的异构业务场景,我们构建了 TGR(Tencent Generative Recommendation),主要沿三大方向(GenRank / GenRec / Reason)把推荐系统从传统级联推进到生成式范式。第一,TGR-GenRank 方向把排序阶段升级为生成式范式的排序:CCFormer 模型以统一特征 token 化与可扩展的 Transformer 骨干为基础,引入特征域分离的 cross attention、长序列子空间 token mixing 与层级序列压缩,以约为 HSTU 一半的算力取得更优的排序效果,并沿模型参数量与序列长度持续 scaling。第二,TGR-GenRec 方向以两种互补的生成范式探索对级联决策阶段的端到端替换:在 next-token prediction(NTP)范式下,BARGE 通过引入上下文感知注意力、层级路径重排与正交双路解码,弥合了层级语义 ID 生成中的两个结构性缺口——多 token 物品展平后 item 边界丢失、早期前缀出错引发的语义漂移;在 next-slate prediction(NSP)范式下,HiGR 把推荐从逐 item 解码重构为整屏 slate 生成,协同设计了可控规划所需的前缀结构化语义 ID、把全局 slate 规划与局部 item 生成分离的粗到细解码器,以及兼顾列表顺序、真实兴趣与多样性的 ORPO 列表级偏好对齐。第三,TGR-Reason 方向以“隐式推理、在线注入”增强端到端生成:推理成本经隐空间多步监督在训练期摊销,Think 模型的推理结果离线物化为 reason tokens,再由 Direct Reasoning Injection 作为层级对齐的 prompt 条件化在线解码。

腾讯 TGR 已在真实业务流量上规模化部署,覆盖新闻、视频、网络小说等业务的10多个场景,助力相关业务在观看时长、广告收入与新用户转化等核心指标取得显著提升,TGR 相关创新成果已在AAAI、ACL、CIKM等国际顶级会议发表多篇论文。

一、传统推荐系统的结构性瓶颈

如上图所示,业界大多数推荐系统采用多阶段级联架构,而且每一层的模型基本都是典型 DLRM 范式:底层针对sparse、dense和多域异构行为序列单独做特征抽取,中间层做特征交互网络(DeepFM、DCN、DIEN等),最后多任务输出层网络(MMoE、PLE等)。这套架构至今仍是业界主流范式,但有三个结构性瓶颈已经显现,限制了系统进一步提升的空间:1)DLRM 范式不具备 LLM 式的 scaling law——模型容量与算力增长之后,效果趋于饱和;2)级联架构的分阶段决策带来结构性错位;3)协同信号驱动的模型缺乏多模态语义理解、世界知识与推理能力,在冷启动、长尾与意图模糊场景上效果欠佳。

如上图所示,基于 Transformer 的大语言模型在NLP、CV等领域取得了很大的成功:效果随算力、数据、参数量可预测地持续提升,并具备多模态理解与复杂推理能力。因此业界正积极探索"生成式范式":把推荐建模为序列生成,让召回、排序、重排都能享受 LLM 式的 scaling 与推理。但直接把 LLM 的建模方式照搬并不可行,主要面临如下三个结构性问题的挑战。

1.1 排序模型的算力效率瓶颈:特征交叉与长序列建模

如上图所示,生产环境中的排序模型面对的是异构、高基数、分布实时变化的特征空间:sparse 特征的基数可达百亿规模,dense 特征依赖人工设计的数值统计,用户行为序列来自多个业务域和场景,序列可达万级。这套架构的天花板在于它不具备 LLM 式的 scaling law:embedding 查表加人工设计的交叉结构受内存带宽限制,模型算力利用率低,增加参数和算力之后效果不再持续提升。Meta提出的 HSTU 是生成式范式的第一次可信突破——把特征与行为序列统一 token 化,由单个 Transformer 完成交叉,排序模型首次呈现出随参数量与序列长度可预测提升的 scaling 特性:HSTU 把序列转导模型扩展到万亿参数量级,线上 A/B 取得 +12.4%。

但新的瓶颈随之出现:self-attention 的计算开销随序列长度平方增长,在数十到百毫秒的延迟预算下,长序列只能截断或预压缩,细粒度的跨域交互被牺牲掉,而这是 TGR-GenRank 方向要解决的问题出发点。

1.2 级联架构的目标割裂:阶段代理目标与列表级目标的不一致

如上图所示,级联架构下系统是逐 item 做决策的:召回、粗排、精排、重排每一级都用判别式打分和截断阈值做局部决策,候选从海量逐级截到千级、百级,最后拼成一屏。级联架构主要存在以下瓶颈:

1)各级独立优化、独立截断,上游截掉的 item 下游看不到,信息逐级损失、样本偏差累积,算力也被切成碎片;

2)各阶段目标彼此不一致,跨阶段的联合优化在级联结构下难以协同,各阶段效果提升的边际收益递减;

3)用户体验到的是一屏有序的列表:列表质量取决于 item 之间的兼容性、多样性与位置效应,而各阶段判别式打分刻画不了这些关系,局部最优的拼接不等于全局最优。

快手提出的 OneRec 是端到端生成范式的第一次工业化落地——把 item 编码为层级语义 ID,用单个 encoder-decoder 模型以 session 为单位直接生成推荐列表,并用基于奖励模型的迭代偏好对齐取代多阶段打分,在工业场景验证了用一个生成模型替换级联判别式阶段的可行性。

但新的瓶颈随之出现:自回归解码整屏意味着 M 个 item × D 层 SID 共 M×D 个 token 的逐 token beam search,在实时约束下太慢;多 token 的 item 展平后 item 边界丢失,前缀一旦出错便引发语义漂移;逐 token 的生成目标也刻画不了列表层面的顺序与多样性,而这些正是 TGR-GenRec 方向要解决的问题出发点。

1.3 协同信号的覆盖边界:冷启动、长尾与意图模糊

如上图所示,协同信号驱动的推荐模型学到的是行为共现模式:看过 A 的人接着看了 B。这套机制在绝大多数请求上有效,却恰好在最需要推理的三类请求上失效:

1)新用户,历史序列为空或极短,没有共现证据可供匹配;

2)长尾 item,协同信号稀疏,交互集中在热门 item 上,长尾几乎没有交互边可学;

3)意图模糊的请求,历史同时指向多个方向,用户下一步想做什么需要推断而不是匹配。

这三类请求需要的是多模态语义理解、世界知识与意图推断,而基于协同信号的模型却缺乏这方面的能力——模式匹配不等于推理,这就是协同信号的覆盖边界。引入大模型先验是自然的解法,业界已有两条路径:显式推理(OneRec-Think/OneReason)让模型在生成推荐前先显式输出思维链,隐式推理(ReaRec / STREAM-Rec)在隐空间多走几步 rollout 再生成。

但两者都把推理放在了请求路径上:显式推理每个请求多出数百个 CoT token,隐式推理每个请求多出 K 步前向,在数十~百毫秒的延迟预算下放不进去;推理容量与每请求计算绑定,想多推理一步就要为每个请求多付一步延迟,把推理搬到离线也只是转移成本——推理结果随请求产出,每次曝光仍要算一次,而这些正是 TGR-Reason 方向要解决的问题出发点。

1.4 TGR 演进路线与技术栈全景

如上图所示,生成式范式改造推荐系统主要有两条路径。一条是重塑级联架构:基本还保留级联架构,借鉴生成式范式的建模技术来重塑各层的模型,包括生成式范式下的重排、精排、召回模型等。另一条是替换级联架构:探索用单一生成模型替换召回、排序、重排等学习型决策阶段,直接输出 item 或整屏 slate。

我们认为这两条路径并不互斥,短期内两者都会同时存在并继续演进,根据实际场景的数据规模、成本等因素来做路线选择,所以TGR-GenRank 走重塑路线,TGR-GenRec 与 TGR-Reason 探索替换路线。因此,TGR 技术栈由排序层(TGR-GenRank)、生成与推理层(TGR-GenRec、TGR-Reason、TGR-Memory)和基础层(Numerous-Torch、用户建模、多模态理解、SID 模型)组成,如下图所示。

如下图所示,TGR 沿"统一语义表示的基础设施 → 重塑 / 替换级联的生产模型 → 推理增强与 Agentic 自进化的前瞻探索"三个层次,把推荐系统逐环节升级或替换,形成五个方向:

1)TGR-SID:全场景统一的语义 SID,既是推荐内容理解与统一语义表示的基础设施,也是各方向共享的解码空间,目前已接入多个业务。

2)TGR-GenRank 以生成式范式"重塑"排序,我们提出 CCFormer 作为排序模型 backbone,用特征域分离交叉注意力、子空间相对时空编码与层级序列压缩降低序列建模复杂度,已在多个业务场景全量上线;

3)TGR-GenRec 以端到端生成"替换"级联中的判别式决策阶段,NTP 路线的 BARGE 修复层级语义 ID 生成的结构性缺口,NSP 路线的 HiGR 把“编码 → 规划 → 生成 → 对齐”做成一体化的列表级生成框架,同样已在多个业务场景全量上线。

4)TGR-Reason 以大模型推理“增强”端到端生成:我们提出 LatentRec,用连续隐向量替代文本 CoT,在隐空间把“思考”与“生成”合为一体,推理成本在训练期摊销;推理结果通过离线 / 近线机制物化为 reason tokens,经 DRI 注入在线生成器,实现服务时零推理 rollout,线上 A/B 在新用户指标上显著提升;

5)TGR-Loop 把演进本身交给多智能体,让 LLM 智能体自主提出、验证并迭代推荐模型,目前处于研究探索阶段。

接下来,我们分别重点介绍 TGR-GenRank、TGR-GenRec 与 TGR-Reason三个方向,TGR-Loop 在最后的展望中介绍。

二、TGR-GenRank:排序模型的范式迁移

TGR-GenRank 方向的目标是在级联结构下替换排序 backbone——用生成式范式"重塑"排序,让排序模型既能随参数量与序列长度可预测地提升效果,又能把算力开销控制在预期范围内。

2.1 传统排序模型的局限性与排序范式的业界演进

如上图所示,推荐排序模型面对的输入是异构、高基数、分布实时变化的特征空间——sparse 特征基数接近百亿,多域行为序列的类型、时间尺度与长度差异很大、可达万级——训练上还要求在超大规模数据上实时更新。

DLRM范式的排序模型是典型的三层架构:

1)底层是特征抽取层:用户行为序列与候选 item 经 target-aware 的 pairwise attention 得到序列表示,ID 类 sparse 特征经 embedding 查表与池化得到 pooled embeddings,外部 embedding 特征与人工设计的 float 统计特征各走一条支路;

2)中间是特征交互层,由 DCN 一类的显式交叉结构把各支路表示组合起来;

3)顶层是任务转换层,以 MoE 形式输出多个任务的预估分数。

DLRM范式的根本局限在于扩展性:随着训练数据量、模型规模或计算量的提升,效果未能持续提升,排序模型缺少可预测的 scaling 路径。

如上图所示,业界近两年的排序模型演进可归为两条路线(范式 A 与范式 B):

1)特征交互型模型(Wukong、RankMixer 等)延续 DLRM 的分层思路:序列先由前置模块压缩成少量表示,再与非序列特征一起送入可堆叠、可 scaling 的交互骨干。Wukong 用堆叠的 FM block 做高阶点积交互并配合线性压缩,在排序模型上报告了跨两个数量级算力的 scaling law;RankMixer 用无参数化的 token mixing 替代 self-attention,主要计算落在 per-token FFN 上,算力利用率高。这条路线的共同短板是序列信息在压缩时有损,跨域交叉发生在压缩之后、位置滞后;

2)统一 token 化 + 注意力交互的模型(HSTU、ULTRA-HSTU、OneTrans 等)把用户画像、行为序列与候选物品统一编码成一条 token 序列,用 attention 一次完成序列内与跨域交叉,效果随参数量与序列长度可预测提升。代价是原生 self-attention 对序列长度是 O(L²),万级长序列在工业延迟预算下计算量与显存开销巨大,后续工作都在注意力本身上做减法:ULTRA-HSTU 引入半局部稀疏注意力与注意力截断,OneTrans 用金字塔式缩减 query 数并跨请求缓存 KV——它们以限制注意力范围或减少参与交互的 token 数为代价换取次二次开销。

总结一下,范式 A 的优势是算力利用率高——交互骨干只处理少量压缩后的表示;但不足是序列先压缩、后交叉,细粒度的序列信息和候选与历史行为之间的精细匹配在进入骨干之前就已丢失。范式 B 的优势是交互充分——用户画像、行为序列与候选统一在一条 token 序列里,self-attention 一次完成序列内与跨域的全部交互,效果随参数量与序列长度可预测提升;但不足是 self-attention 对万级长序列在工业延迟预算下计算量与显存开销巨大,后续的稀疏化、截断、金字塔堆叠都是在为这一个算子减负。

如何既保留范式 B 在完整序列上做充分交互的效果,又获得范式 A 的算力效率,这正是 CCFormer 的设计出发点:把跨域交叉与序列内交互解耦,各用最合适的算子(如上图中的范式 C)——跨域交叉用特征域分离的 cross attention,让非序列特征直接查询完整序列,复杂度随序列长度线性;序列内交互在子空间内用 token mixing 与 per-token FFN 完成,避开二次开销;序列压缩不再前置于交互,而是在骨干内部逐层、层级化地进行,让细粒度信息先参与交叉再被压缩。

2.2 CCFormer:跨域交叉注意力、子空间序列交互与层级序列压缩

如上图所示,CCFormer 把输入特征划分为用户侧(user tokens)、用户历史行为序列(sequence tokens)、候选目标物品(target item tokens)三个异构特征域,并把排序模型的特征提取环节解耦为四个模块:

1)特征域分离的 Cross Attention。如下图所示,特征域分离的 Cross Attention 把排序任务拆成三个域之间的关系——用户与历史序列之间的偏好性检索、目标物品与历史序列之间的相关性匹配、目标物品与用户之间的兼容性建模——Cross Attention 适合做异构域之间的相关性建模,且复杂度为 O(L)。

2)子空间相对时空位置编码(Subspace Relative Time and Position Encoding)。如下图所示,长序列子序列的相对时空位置编码把长序列划分成多个相邻 m 个 token 的子序列,在子序列上分别计算相对时间与相对位置的参数矩阵并注入序列 token,复杂度从全局的 O(L²) 降为 O(Lm)。

3)子空间 Token Mixing(Subspace Interaction)。如下图所示,长序列子空间 Token Mixing 把序列 token 划分成 m×n 维度的子空间,每个子空间的 embedding 展开后经过参数独立的 PFFN 再做维度 revert,完成子空间内的特征交叉。

4)层级卷积压缩(Convolutional Compression)。如下图所示,分层长序列 Token 卷积压缩用逐层有重叠的一维卷积聚合相邻行为 token,卷积核自适应地学到聚合模式,逐层压缩使每一层序列 token 的感受野逐层变大,模型获得多序列尺度的特征建模能力,层级堆叠下的计算量大幅降低。

2.3 实验效果

2.3.1 对比实验分析

公开数据集上,CCFormer 在 Taobao 与 KuaiRec 上均优于 DIN、DeepFM、SASRec、MIMN、HSTU、OneTrans、STCA;

在 40 亿样本的真实业务数据集上,AUC 77.94%、GAUC 71.36%,相对 HSTU(77.66% / 70.86%)分别提升 0.28 和 0.50 个百分点,相对提升 1.01% 与 2.40%(表 1)。Scaling 实验表明 CCFormer 沿特征维度(128 → 512)和序列长度(0.5K → 2K)都持续提升且始终优于 HSTU;CCFormer 仅用 0.5K 序列就达到了 HSTU 用 2K 序列的 AUC,并超过其 GAUC(见 2.3.3)。

表 1 | CCFormer 在两个公开数据集与真实业务数据集上的效果对比

2.3.2 消融实验分析

消融实验给出了各模块的贡献(表 2):完整 CCFormer 在真实业务数据集上 AUC / GAUC 为 77.94 / 71.36,训练加速 2.21×;移除相对时空位置编码后 GAUC 降至 71.13;长序列 token mixing 换成 self-attention 后 GAUC 降至 71.21,训练加速降为 1.41×;移除 token mixing 降至 71.02;移除序列压缩后训练加速降为 1.29×。

表 2 | CCFormer 消融实验:各模块对 AUC / GAUC 与训练加速比的贡献(对比 HSTU)

2.3.3 模型scaling效果分析

如上图所示,CCFormer 在模型规模和序列长度两个维度上都表现出可预测的 scaling 特性,并且在每个规模点上都以更低的算力取得更好的效果。

先看模型规模:特征维度从 128 增加到 256、512,HSTU 与 CCFormer 的 AUC、GAUC 都单调上升,但 CCFormer 的领先幅度随规模扩大而拉大(ΔAUC 从 0.84% 升到 1.22%,ΔGAUC 从 1.02% 扩大到 2.4% 左右),同时每个维度下的 GFLOPs 仅为 HSTU 的三至六成——256 维的 CCFormer(18.28 GFLOPs,AUC 77.94%)已经超过 512 维的 HSTU(63.47 GFLOPs,AUC 77.79%),算力不到后者的三分之一。

再看序列长度:在真实业务数据集上把用户序列从 0.5k 拉长到 2k,两者的 AUC、GAUC 都随长度近似线性提升,但 CCFormer 的拟合斜率明显更陡,序列每翻倍一次获得的增益更大,0.5k 长度下的效果已与 HSTU 在 2k 长度下大致相当。公开数据集 KuaiRec 上的结论一致:序列长度从 200 增至 1000,CCFormer 在每个长度上都领先 HSTU、STCA 与 OneTrans,200 长度下的 AUC 已接近或超过其他方法在 1000 长度下的水平。这两组结果说明,CCFormer 不只是在固定预算下更优,把算力投入换成效果的效率也更高。

2.4 业务应用效果

CCFormer 模型已在 5 个真实业务场景上取得显著的效果收益,具体数据如表 3 所示。

表 3 | CCFormer 五个业务场景的离线效果与在线 A/B 实验效果

2.5 小结与展望

TGR-GenRank 方向把传统 DLRM 范式的排序模型迁移到统一 token 化加 Transformer 骨干的生成式范式。CCFormer 把跨域交叉与序列内交互解耦,以特征域分离的 cross attention、子空间序列交互和层级卷积压缩替换了 DLRM 的特征抽取层与特征交互层。在模型效率上,相比 HSTU 等业界方案,CCFormer 以约一半的算力取得更优的离线效果,训练提速 2.21×,并在模型规模与序列长度两个维度上表现出更陡的 scaling 曲线;在模型效果上,CCFormer在5个业务场景的 A/B 实验取得统计显著的效果收益,并已在多个场景推全上线。此外,CCFormer论文《CCFormer: Efficient Cross-Field Interaction and Hierarchical Sequence Compression for Industrial Recommendation at Tencent》已投稿至顶会。

展望未来,TGR-GenRank 方向将沿三条线继续推进:一是跨场景的 backbone 模型基座,让同一个排序骨干服务多个业务场景;二是终身序列建模,覆盖更长时间跨度的用户行为,并探索更贴合推荐任务的特征交叉结构;三是持续优化模型 scaling 的斜率,通过稀疏注意力、输入序列与模型拓扑等模型—系统协同设计,在固定的延迟与 GPU 预算内换取更多效果。

三、TGR-GenRec:从 next-item 到 next-slate 端到端生成

TGR-GenRec 方向的目标是用端到端生成模型“部分替换”或“完全替换”级联中的判别式决策阶段,由一个生成模型直接产出用户要看的 item 乃至整屏列表。本章按两种生成范式展开:NTP(next-token prediction)范式的 BARGE 模型,NSP(next-slate prediction)范式的 HiGR 模型。

3.1 从 Next-Token 到 Next-Slate:推荐自回归的结构差异与业界演进

3.1.1 语义 ID 与推荐自回归:与语言自回归的结构差异

如上图所示,端到端生成式推荐的一般流程是:item 的内容(文本 / 图像 / 视频)先编码为语义向量,再经 RQ-VAE 残差量化为 D 层 coarse-to-fine 的层级语义 ID(SID),语义相近的 item 共享高层前缀、叶子层区分个体;用户历史展平为 SID 序列输入 encoder–decoder Transformer,由 beam search 逐 token 生成目标 item 的 SID,只在码本树上存在的路径中搜索,生成的 SID 再映射回 item 或作为检索 query。

这条路与 LLM 同构:不再对全库逐一打分,可以复用 Transformer 骨干、scaling 规律与训练 / 推理基建。但语言自回归不等于推荐自回归,上图下方的对照表列出了七个维度的差异,这七个差异决定了 LLM 的自回归不能原样搬到推荐上,也引出了 TGR-GenRec 的设计出发点:BARGE 在 NTP 范式下修复 token 语义与序列结构带来的缺口,HiGR 在 NSP 范式下把生成单元升级为整屏 slate,并在训练目标与解码上做列表级的协同设计。

3.2 BARGE:面向推荐的自回归生成适配(NTP 范式)

3.2.1 两个结构性缺口:Item Boundary Gap 与 Semantic Drift

如上图所示,端到端生成式模型的标准链路是 item → SID → 自回归解码,这个链路中存在两个结构性缺口:

1)编码端丢失 item结构化信息(Item Boundary Gap):Item 的 SID 层级码字展平之后,同一 item 的 SID 缺少显式分组,Encoder 输入端丢失了 item 结构信息。模型看见的是 token,却没有物品归属信息;同一个 code index 在不同前缀路径下语义不同——如下图所示,第二层的码字 3 在 ⟨1,3⟩ 与 ⟨7,3⟩ 下原始 lookup embedding 相同,对应的却是不同的路径语义。这导致模型要同时承担三重编码负担:恢复边界(哪些 token 属于同一 item)、消歧语义(同一码字在不同前缀下如何解释)、建模偏好(用户行为最终仍以 item 为单位)。

2)解码端的语义漂移(Semantic Drift):如下图所示,层级解码一旦在某一层走岔,之后每一层都只能在错误子树里继续搜索,目标 item 被永久排除。对第三层目标预测质量的量化显示,teacher forcing 下目标概率 0.787、排名 7.4、准确率 80.5%;自回归整体只有 0.015、119.5、1.6%,概率掉到约 1/52。按前缀是否正确拆开看,前缀正确时准确率为 77.0%,前缀一旦出错只剩 0.6%,相差 128 倍。

通过扩大 beam 来解决显然不大可行:更宽的 beam 只能留下更多路径,不能显式判断整条路径的语义是否仍与用户一致;推理时延近似随 beam 宽度线性增长,显存随 B×L 增长;工业场景候选库更大、分布更长尾,局部 token 概率更容易受稀疏反馈影响。

3.2.2 方法设计:OSQ-VAE、ICA、HPR 与 DPD

如下图所示,BARGE 在既有 NTP 范式上做结构性适配,分别在 SID 建模(OSQ-VAE)、编码器网络结构(ICA Block)、解码器网络结构(HPR Block)、解码策略(DPD)4 个方面提出了改进方案。

1)OSQ-VAE:正交旋转后一分为二,为每个 item 产出互补的两套 SID。同时,编码器输入两套 SID,两个解码器并行解码两套 SID。

2)ICA Block(Item Context-Aware Attention):如下图所示,在进入 encoder 前,用可学习的 query 对同一 item 的 L 个 SID token 做 cross-attention pooling 得到聚合表示,经 MLP 投影得到 item context,再以门控残差注回每个 token;实测门控强度处于中等区间,模型选择的是”补充”而非覆盖 SID 信息。

3)HPR Block(Hierarchical Path Reranking):用全局路径一致性重排局部 token 概率。如下图所示,在解码器内用累计路径与 decoder 初始隐状态 h₀ 打分,逐层重排 beam;训练用 InfoNCE:正样本是 h₀ 与真值 item 的累计前缀路径,负样本包括同批次内的其他路径、NTP 高概率错误前缀,以及已曝光未点击等业务负样本——针对的正是 PROMISE 负样本太”容易”的问题;推理时的分数是生成分数加 λ 倍的路径匹配分数;每层用 Top-N 扩展评分池,下一层仍只保留 Top-B,beam 宽度不变;h₀ 每层只算一次,候选共享同一个上下文塔。

4)DPD(Dual-Path Decoding):两条通路并行,共享 encoder,decoder 与 HPR 私有,在 item 空间做 soft-OR 融合,任一通路高分即可恢复;两条通路在经验上互补:双通路 Top-10 候选的 Jaccard 仅 0.172–0.183,前 10 名只有约 3 个重合;OR 命中中 15.6%–24.3% 仅由单一通路贡献。

如上图所示,对 HPR 的进一步探索给出了一个更一般的结论:仅增加判别式结构容易与 decoder 概率同质化,有效收益来自额外监督(曝光未点击、NTP 高概率错误前缀)与多目标信号;要把 target 侧特征引进来,需要另一条结构——User–Item 双塔在训练时用对比损失把 target 侧特征带进用户向量,推理时只需要用户向量以 soft prompt 注入 decoder 的起始位置,这个改进点在真实业务数据集上把 Hit@1 从 0.3749 提升到 0.4088(+9.0%)。

3.2.3 实验与部署
3.2.3.1 对比实验

如下图所示,在 Amazon Beauty 与 Sports 两个公开数据集上做全库评估,对比 TIGER、HSTU、COBRA、ActionPiece、APAO-pointwise 五个基线,BARGE 在全部报告指标上最佳:Beauty R@10 0.0927、N@10 0.0547,Sports R@10 0.0544、N@10 0.0308。Beauty R@10 相对最强列内基线提升 16.6%,相对 TIGER 提升 43.1%;Sports R@10 相对最强基线提升 8.8%,N@10 提升 16.7%。

表中的 BARGE-base 是一个对照变体:保留 ICA、HPR、DPD 三个结构模块,但把 BARGE 的 4 层学习码本换成与基线相同的 TIGER 3 层码本(外加一个随机的消碰撞 ID),用来把结构模块的收益与码本设计的收益分开。BARGE-base 在与基线同一套 tokenizer 下已经超过全部生成式基线(Beauty R@10 0.0896,Sports 0.0513),说明三个结构模块的收益不依赖特定数据集、可以跨数据集复现;从 BARGE-base 到 BARGE 的进一步提升(Beauty R@10 0.0896 → 0.0927,Sports 0.0513 → 0.0544)则来自码本设计。

如上图所示,在2个真实业务场景上的离线评估效果:场景 1 有数十万 item,线上召回模型为 GraphSAGE 与 NANN;场景 2 有数千万 item、百亿级交互,线上召回模型为 GraphSAGE 与 BERT-based;OneRec 为内部复现,作为生成式基线。

两个场景的 Hit@5 / @10 / @20 / @50 四项指标上 BARGE 全部最优:场景 1 的 Hit@5 从 OneRec 的 0.5459 提升到 0.6015(+10.2%),场景 2 从 0.0835 提升到 0.0976(+16.9%),而生成式的两条线整体都明显高于线上在用的召回模型。

值得注意的是:1)领先幅度在 Hit@5 上最大、随 K 增大逐渐收窄,说明结构修复主要把目标 item 推到了列表头部,这与 HPR 逐层重排的作用方式一致;2)候选库更大、分布更长尾的场景 2 增益反而更高,印证了 3.2.1 的判断——工业场景下局部 token 概率更容易受稀疏反馈影响,语义漂移更严重,路径级纠偏的价值也更大。

3.2.3.2 服务部署

如上图所示,线上 TGR-GenRec 服务支持两种 SID 到 item 的模式:同一个生成模型经 beam search 输出 50 组 SID 路径,方式 A 直接映射(一条 SID 路径 → 一个 itemID),适合少量精准候选,直接生成 50 个 item 作为一路召回,或直接送精排、替换”召回 + 粗排”链路;方式 B 走 ANN 检索(码本 embedding 求和后做 ANN),适合大 quota 的召回系统——quota=500 时直接 beam=500 性能不可承受,改为生成 50 个 SID 种子、每个种子做 ANN 扩展,去重后约 480、重复率约 4%。按链路 quota 选择:小 quota 用方式 A 精准直出,大 quota 用方式 B 种子扩展进入现有下游级联。

3.2.3.3 业务应用效果

BARGE 的线上 A/B 在小说推荐场景进行,为期两周、6% 线上流量,对照组是现网的多阶段召回系统:CTR +0.60%,点击 UV +1.34%,总阅读时长 +1.70%,三项提升均统计显著。此外,BARGE 模型全量上线后保留的长期反转组进一步显示,CTR 与总阅读时长的提升幅度比两周实验更大、效果更稳定。

如上图所示,把 BARGE 作为一路召回单独下钻,看两个指标:曝光采纳率衡量该通路召回的候选能否通过下游的粗排、精排与混排最终获得曝光;曝光后 CTR 衡量这些候选曝光后能否被用户点击。

对比线上3条代表性通路,BARGE 的曝光采纳率为 1.02%,与图召回的 1.03% 同处第一梯队;曝光后 CTR 为 9.93%,4条通路中最高。这说明 BARGE 带来了现有通路没有覆盖的增量,也正是前面 A/B 实验中 CTR、点击 UV 与总阅读时长同时提升的来源。

3.2.4 小结

BARGE 在 NTP 范式下对基于Transformer的生成式推荐模型做了四处结构性适配:OSQ-VAE 经正交旋转一分为二,为每个 item 产出互补的两套 SID;ICA 在进入 encoder 前聚合 item 级上下文,再以门控残差注回每个 SID token,修复展平后丢失的 item 边界;HPR 在解码器内用累计路径与 h₀ 逐层重排 beam,以 InfoNCE 加上 NTP 高概率错误前缀、曝光未点击等难负样本训练,修复沿前缀级联的语义漂移;DPD 以结构互补的第二条解码通路和 item 空间的 soft-OR 融合,找回单通路不可达的 item。

离线效果上,公开基准 Beauty 与 Sports 的全部指标最佳,Beauty R@10 相对最强基线 +16.6%;两个工业场景的 Hit@5 相对 OneRec 分别 +10.2% 与 +16.9%;在线效果上,线上 A/B 中 CTR +0.60%、点击 UV +1.34%、总阅读时长 +1.70%,作为单路召回的曝光采纳率 1.02% 处于第一梯队、曝光后 CTR 9.93% 为各通路最高,BARGE 目前已在小说推荐场景全量上线。此外,BARGE 的论文《Bridging the Structural Gap: Adapting Autoregressive Generation for Recommendation》已投稿至顶会。

3.3 HiGR:基于分层规划的列表级生成式推荐框架(NSP 范式)

3.3.1 从 item 级生成到 slate 级优化的三个断层

BARGE 解决了”如何生成一个 item”,尚未解决”如何生成一张好列表”。让模型直接生成推荐列表的挑战更大,推荐列表质量不只取决于每个 item 的相关性,还取决于列表级的排序位置,列表内关系与多样性。如下图所示,把 NTP 范式的 item 级 SID 生成直接扩展到工业级 slate 优化,存在三个断层:

1)纠缠的 SID 空间。标准残差量化得到的 SID 前缀既不反映 item 语义也不反映协同关系,前缀相同不一定代表类别相同,前缀不同的物品却可能相似;前缀不一致,就很难在 slate 内控制 item 的相关性与多样性。

2)低效的细粒度解码。M 个 item × D 层 SID 需要解码 M×D 个 token,全序列 beam search 在实时约束下推理耗时高,难以满足实时推荐要求;而且把 item 内的语义组合与 item 间的转移纠缠在一起,掩盖了全局 slate 结构。

3)目标错位。token 级似然并不优化用户感知的 slate 质量,即排序顺序、真实兴趣、列表内多样性等多个列表级目标。

HiGR的设计思路是通过tokenizer、解码器与训练目标协同设计,分别对应以上三个断层:PCRQ-VAE 给出结构化的前缀对齐 SID 空间,HSD 分离 slate 规划与 item 解码,ORPO listwise 对齐面向列表偏好。

3.3.2 方法设计:PCRQ-VAE、HSD 与 ORPO listwise 对齐

如上图所示,HiGR 的总体框架是”编码 → 规划 → 生成 → 对齐”:(a) PCRQ-VAE tokenizer 产出前缀对比的语义 ID;(b) 层次化 slate 解码器由粗粒度规划器和细粒度 item 生成器组成;(c) ORPO 做 listwise 多目标对齐。

3.3.2.1 PCRQ-VAE tokenizer 语义编码

在生成式推荐中,物品SID化(tokenization)的作用对模型效果影响很大,SID 质量在很大程度上决定了生成式模型的效果上限。传统的RQ-VAE模型虽然能降低词表大小,但在工业落地中暴露出了“前缀语义纠缠”与“残差坍塌”的两大核心问题,导致生成模型难以精准把控推荐意图,在列表级生成式推荐任务中这个问题尤为突出。

1)ID纠缠。在标准RQ-VAE中,量化仅由重构误差来驱动。这导致生成的Codebook缺乏语义拓扑结构——前缀相同不一定代表类别相同,而前缀不同的物品却可能非常相似。对于分层规划器来说,如果ID不具有明确的语义聚类特性,它就无法准确地规划出高层的“意图”。

2)残差坍塌。随着量化层数迭代,后续层级的残差向量往往趋近于零,导致深层码本实际上不承载信息,退化为噪声,浪费了编码容量。

如上图所示,我们引入对比学习对前缀做约束、引入全局量化抵抗残差消失现象,让语义ID的前缀成为可靠的语义锚点。

1)前缀对比约束

我们在量化器中的前D-1层引入InfoNCE loss,选择语义相似的item或共现率高的item作为正样本,选择批次内其他随机样本作为负样本。让前缀ID负责“聚类”,将相似物品拉到同一个ID前缀下;让最后一层ID负责“区分”,保持对具体物品的细粒度辨识能力。完美契合我们的“先规划,后生成”的分层策略。

2)全局量化损失

不同于传统逐层累计的量化损失,我们针对量化器前后的编码向量和量化重构向量构造全局损失,有效抵抗了残差消失现象,迫使深层码本必须承载有效信息,显著提升了ID的表达一致性。

3.3.2.2 层次化 slate 解码器 HSD

如上图所示,HSD 把 slate 的生成拆成"规划"和"生成"两层:

1)下层是粗粒度的 slate 规划器:一个 L_slate 层的 Transformer 以 BOS 和上下文 embedding 起步,在紧凑的偏好 embedding 空间里逐位置自回归——先输出第 1 位的偏好 î₁,把该位置生成的 item i₁ 回填为输入再输出 î₂,依此类推,每个 slate 位置对应一个 embedding,先把整屏的意图定下来。

2)上层是细粒度的 item 生成器:经过共享的 Projector 后,一个 L_item 层、所有位置共享参数的生成器把每个偏好 î_m 落成一条 D 个 token 的短 SID 序列(s¹_m, s²_m, s³_m),再映射回 item;因为参数在位置间共享,模型大小不随 slate 长度增长。

相比于标准的Transformer结构,HSD 不再像 NTP 平铺那样纠缠在一条 M×D 的长序列上,item 内的语义组合(D 步)和 item 间的转移(M 步)被分到两个模块里。

推理时规划器贪心解码,beam search 只在每个 item 的短 SID 序列内进行,搜索空间大幅缩小:解码复杂度从 O(B·M³·D³·l_slate·d) 降为 O(M³·l_slate·d + B·M·D³·l_item·d),beam 宽度 B 只作用在短的 item 级序列上,相比 NTP 平铺式解码再拼成列表,推理可提速数倍。

同时,多样性在规划阶段就可以控制:对规划器输出的各位置 embedding 施加多样性损失 L_ILD = −1/(M(M−1)) Σ_m Σ_{n≠m}(1 − cos(î_m, î_n)),最小化它等于拉大不同位置偏好之间的余弦距离,让整屏的意图在解码出具体 item 之前就彼此错开,而不是事后靠打散规则补救。

深度分配上,在固定总深度的条件下规划器 14 层加生成器 2 层是最佳生产配置,相比 12:4 的分配延迟降低 26%,NDCG@5 仅相对下降 0.6%——说明算力应主要投在规划整屏意图上,item 级解码用很浅的网络即可。

3.3.2.3 ORPO listwise 对齐:列表级的多目标偏好对齐

如上图所示,在生成式推荐的工业级落地中,直接照搬 LLM 领域的对齐算法面临显著的效率收益瓶颈:

1)DPO(Direct Preference Optimization)

1.1)机制痛点:DPO的损失包含一项参考模型的预测结果。这意味着训练过程中,必须始终加载冻结参数的参考模型进行同步推理。

1.2)工业阻碍:推荐模型的参数量虽然不如LLM巨大,但是数据量极大。参考模型的存在导致显存占用翻倍,训练吞吐量减半。在小时级更新的推荐业务中,这种训练延时是不可接受的。

2)GRPO(Group Relative Policy Optimization)

2.1)机制痛点:DeepSeek 提出的强化学习方法 GRPO,通过对同一prompt采样G组输出,计算组内相对优势,从而省去了critic model。其核心假设是环境能对每一次采样给予即时、准确的反馈。

2.2)工业阻碍:GRPO在数据、代码任务中有效,是因为有明确的答案检查器。但在推荐场景中,离线训练无法实时把生成的G个推荐列表推给用户,在没有高保真用户模拟器的情况下,GRPO很难直接应用于离线推理策略学习。此外,列表序列推理是token-by-token生成的,生成G组完整列表极其耗时,会导致训练时长爆炸。

ORPO(Odds Ratio Preference Optimization)无需参考模型,把偏好优化折叠进监督学习——监督项保精度、对比项拒绝差的 slate。

因此,HiGR 选择 ORPO :L_ORPO = L_SFT + λ·L_Odds,其中 L_SFT 是正样本列表的 token 级负对数似然,L_Odds 把正、负列表在每个位置上的生成赔率 π_θ/(1−π_θ) 取对数后沿序列累加、作差,再经 sigmoid 取负对数。 直观上,SFT 项负责让模型学会生成高质量列表,Odds Ratio 项让优势列表的生成赔率显著高于劣质列表;工程上它无需参考模型、无需在线采样,单模型、单向传播,一次前向同时完成监督与偏好对齐,训练速度与普通 SFT 几乎持平,显存占用大幅降低。

偏好对的构造采用"三元目标"策略,正样本三目标共用:用户真实观看且高停留时长的序列,按反馈强度重排;负样本按准、好、多样三个目标分别构造:

1)排序保真(Ranking Fidelity):把重排后的正样本随机打乱顺序,让模型学会"把好东西率先推出来";

2)真实兴趣(Genuine Interest):把正样本中的物品替换为用户曝光未点击或负反馈的物品,让模型学会剔除"标题党"和无效曝光;

3)列表多样性(Slate Diversity):以正样本的第一个物品为锚点、后续全部填充与锚点相似的 top-k 物品,让模型学会惩罚"信息茧房"、主动追求多样性。三类样本对全部从隐式反馈中挖掘,无需人工标注。

3.3.3 推理加速

为进一步降低训练和推理成本,我们还从多个角度对HiGR进行了系统性的工程优化,包括采用大语言模型中常用的加速手段,如Flash Attention,KV Cache等。此外,我们在实际落地中发现Beam Search仍是耗时最多的几个环节之一,因此我们也优化了Beam Search的整个流程,以及优化了整体的代码实现,减少不必要的重复计算和优化耗时操作,综合所有的优化手段,将推理速度提高了5倍以上。

加速方法

训练加速

推理加速

加速效果

Flash Attention

✅

✅

强,2-3倍提速

KV Cache

❌

✅

较弱

Memory Beam

❌

✅

强,2-3倍提速

其他工程优化

✅

✅

较强,1倍提速

1)Flash Attention:LLM中常见的加速手段:通过分块计算,极大减少了 GPU 显存(HBM)与片上高速缓存(SRAM)之间的数据读写次数(IO),从而突破显存带宽瓶颈,显著提升长序列推理的计算速度,在HiGR落地中加速效果明显。

2)KV Cache:通过缓存历史 Token 的 Key 和 Value 状态,使模型在自回归生成新 Token 时无需重复计算前文所有 Token 的 Key / Value,避免了冗余计算,降低解码阶段的延迟。但由于推荐场景中的序列长度远不及LLM中的序列长度,推理加速效果不如flash attention明显。

3)Memory Beam:利用GPU的GEMM并行计算能力,优化beam search的实现流程,避免了当beam width很大时,需要将序列复制beam width份输入到模型中带来的额外巨大计算量,在HiGR落地中加速效果明显。

4)其他工程优化:优化具体代码实现中的不合理实现,避免重复计算,优化耗时操作。

3.3.4 实验效果
3.3.4.1 对比实验分析

如上图所示,在真实业务数据集与开源数据集 KuaiRec 上,HiGR 与 ListCVAE、BERT4Rec、SASRec、TIGER、HSTU、OneRec-25M 对比:同为 25M 参数,HiGR 在工业数据集的 5 个指标上全部超过最强基线 OneRec-25M,Impressions Hit@5 +15.9%、Effective Views Hit@5 +21.3%、NDCG@5 +21.2%;KuaiRec 上 NDCG@5 +5.2%、有效观看 Recall@5 +16.4%。HiGR-25M-w/o RL 已超过 OneRec-25M,ORPO 之后进一步提升;100M 模型的 NDCG@5 达到 0.0831,较 OneRec-25M +41.1%,收益随模型容量继续增长。

3.3.4.2 消融实验分析

接下来,我们介绍下tokenizer、解码器与对齐三个模块的消融实验分析。

如上图所示,SID 质量用三个指标衡量:

1)碰撞率(Collision):是不同 item 被映射到同一 SID 的比例,越低越好;

2)集中度(Concentration):是共享同一前缀的 item 的类目纯度;

3)一致性(Consistency):是每个前缀组内 item 两两类目一致的比例,越高越好。

只对前 D−1 层施加对比约束的 prefix2 是最优配置:碰撞率降到 2.37%,集中度 93%,一致性 66.47%,较 RQ-VAE 提升约 10.7 个百分点——对比学习改善了码本空间的分布,而 D−1 的约束范围既保留了高层的语义层级,又把最后一层留给 item 的唯一身份。把约束延伸到叶子层(prefix3)则有"身份坍缩"的风险:一致性只有边际提升,碰撞率却升高近 4 倍(0.0237 → 0.0873)。因此,前缀级约束是在不损失细粒度 item 区分度的前提下获得语义一致性的关键。

如上图所示,HSD 的消融针对三个设计:多样性正则 L_ILD、上下文嵌入(CE)与 item 生成器的参数共享。

1)去掉 L_ILD 后,各项准确性指标几乎不变(NDCG@5 0.0753 → 0.0755),但列表内多样性 ILD 从 0.62 降到 0.59,说明这一项正则(最小化规划阶段偏好嵌入两两之间的相似度)确实在不牺牲准确性的前提下提升了列表内多样性;

2)去掉上下文嵌入后效果明显下滑,曝光 hit@5 从 0.2994 降到 0.2785,有效观看 hit@5 从 0.2012 降到 0.1837,NDCG@5 从 0.0753 降到 0.0664——上下文编码器产出的表示在规划与生成两个阶段都作为 cross-attention 的 key / value,是 SID 条件解码的依据,拿掉之后生成器失去了条件信息;

3)为每个 slate 位置单独配一个 item 生成器(Non-shared)并没有带来明确收益,各项指标与共享版本互有高低(NDCG@5 0.0748 vs 0.0753),因此 HiGR 采用跨位置共享的单个 item 生成器,既节省参数,也天然支持变长 slate 的生成。

如上图所示,偏好对齐的消融以列表内多样性 ILD 为指标,在工业数据集与 KuaiRec 上对比各模型:

1)即使不做偏好对齐,HiGR w/o RL 的 ILD 已经高于 TIGER、HSTU 与 OneRec(工业数据集 0.52 vs 0.38 / 0.42 / 0.48,KuaiRec 0.55 vs 0.40 / 0.43 / 0.50),说明在 slate 层面做层次化解码并施加多样性正则,结构本身就带来了多样性收益;

2)在此基础上做偏好对齐能进一步提升多样性,DPO 把 ILD 提高到 0.57 / 0.60,ORPO 则达到两个数据集上的最高值 0.62 / 0.63,优于 DPO——列表级多目标 ORPO 把"多样"作为显式的对齐目标,其效果在这里得到了直接验证。

如上图所示,在总层数固定的前提下比较 slate 规划器与 item 生成器的层数分配:

1)质量上,层数向规划器倾斜更有效:14+2 与 12+4 的 NDCG@5 最高(0.0631、0.0635),继续把层数挪给生成器后效果持续下降(10+6 为 0.0621,8+8 为 0.0605)——slate 规划是全局的列表级建模,需要足够深度,item 生成只是轻量的 SID 解码。

2)时延上,生成器每多一层代价都很高:12+4、10+6、8+8 的时延分别升至 1.355×、1.710× 和 2.065×,因为生成器的层数要与 beam 宽度和 SID 长度相乘,规划器的层则只在 slate 层面执行一次。

综合来看,14+2 是质量与时延的最佳折中:相比 12+4,推理时延降低 26%,NDCG@5 仅下降 0.6%;而 15+1 时延只再降一点(0.932×),NDCG@5 却掉到 0.0623。因此 HiGR 默认采用 l_slate = 14、l_item = 2。

3.3.4.3 模型 scaling 效果分析

如上图所示,在模型Scaling 效果上,参数量从 0.05B 到 2B,收敛 loss 逐渐降低、NDCG@5 上升,HiGR 具备 scaling law 性质。推理效率上,右图横轴是推理吞吐(每分钟处理的请求数,单位为万),纵轴是 recall@5,每个点对应一种模型与解码方式的组合。相对 OneRec 的 beam 解码,HiGR(无论是否启用 KV cache)都位于右上方——吞吐高出数倍、recall@5 也更高;相对 OneRec 的 greedy 解码,HiGR 在吞吐相近的情况下 recall@5 大幅领先(约 0.071 对 0.046)。综合来看,HiGR 实现了 5 倍左右的推理速度提升,同时推荐指标更高。

3.3.5 业务应用效果

如上图所示,HiGR 已在腾讯新闻、QQ浏览器小说等多个业务场景推全,已全流量上线的3个场景的收益各有侧重:场景 1 的参与度指标全面提升,人均停留时长 +1.03%、人均观看时长 +1.22%、人均视频播放 +1.73%、人均请求数 +1.57%;场景 2 用户响应与变现同时提升,CTR +0.68%、广告收入 +0.56%;场景 3 的观看时长提升,人均观看时长 +1.14%、人均视频播放 +0.88%。更重要的是,这些收益是在推理成本下降的前提下取得的:得益于层次化解码与 beam search 等推理加速优化,推理耗时与成本大幅降低。

3.3.6 小结

HiGR 的出发点是把 NTP 范式的 item 级 SID 生成直接扩展到 NSP 范式的 slate 生成,而推荐列表生成会遇到纠缠的 SID 空间、低效的细粒度解码与目标错位三个断层,HiGR 用 tokenizer、解码器与训练目标的协同设计逐一回应:

1)PCRQ-VAE 只对前 D−1 层码字施加前缀对比约束,高层前缀共享语义、叶子层保留 item 身份;

2)HSD 把 slate 规划与 item 解码分离,粗粒度规划器在偏好 embedding 空间逐位置规划整屏意图,共享的细粒度生成器把每个偏好落成短 SID 序列,beam search 只在 item 级短序列内进行;

3)ORPO listwise 对齐无需参考模型,从隐式反馈中构造排序保真、真实兴趣、列表多样性三类正负 slate 对,把列表级的多目标偏好折叠进一次监督训练。

此外,配合 beam 折叠进序列维的 K/V 投影优化、Flash Attention 与 KV cache,HiGR 推理速度提升 5 倍以上,训练速度提升 2 倍以上,成本降低 60%。

据我们所了解的公开信息,HiGR 是业界首个工业化落地的列表级端到端生成式推荐模型框架,HiGR 论文《HiGR: Industrial-Scale Hierarchical Generative Slate Recommendation Framework in Tencent》已被 CIKM 2026 录用(Oral Presentation)。

3.4 GenRec 方向总结与展望

TGR-GenRec 方向探索用生成式模型替换级联中的判别式决策阶段,沿 NTP 与 NSP 两种生成式范式分别提出了 BARGE 与 HiGR,并均已在线上业务落地。NTP 范式的 BARGE 做推荐自回归适配:ICA 恢复 item 边界、HPR 以路径一致性重排 beam、DPD 提供第二条解码通路,三个模块不改 NTP 骨架,已作为一路生成式召回在小说推荐场景全量上线。NSP 范式的 HiGR 把生成单元从 item 升级为 slate:PCRQ-VAE 结构化 SID 空间,HSD 分离规划与生成,ORPO 做列表级多目标对齐,同规模效果优于 OneRec,推理提速 5 倍以上,已在腾讯新闻、QQ 浏览器等多个场景推全。此外,BARGE 的论文已投稿至WWW 2027,HiGR 论文已被 CIKM 2026 录用(Oral Presentation)。

展望未来,TGR-GenRec 的下一步沿五个方向继续探索:

1)生成与排序合一:共享骨干的"生成 + item 级打分"头,用 item 级分数替代 beam 似然做最终排序,让一个模型逐步承担召回与粗排 / 精排的职责;

2)价值对齐与多目标可控:引入在线反馈 RL(时长 / 转化 / 商业价值奖励),用可控解码替代多路配额,加入业务价值感知 token;

3)tokenizer 统一升级:合并为一套协同感知 tokenizer,自适应碰撞处理、多维码本、跨场景统一码本;

4)推理原生的生成:latent thinking token 逐层引导 SID 解码,Looped Transformer 按请求自适应循环深度,测试时算力弹性伸缩;

5)scaling 效率的模型—系统协同设计:支持 2B 以上更大的在线推理模型,统一规划器与生成器,引入稀疏注意力与加速器友好的约束解码。

这五个方向中,"推理原生的生成"指向一个更根本的问题:如何把大模型的推理能力引入生成式推荐。下一章的 TGR-Reason 正是围绕这个问题展开。

四、TGR-Reason:大模型推理增强与快慢思考协同

前两章分别介绍了 TGR-GenRank 与 TGR-GenRec,解决的是排序模型的算力效率与端到端生成两个问题;但无论判别式打分还是生成式解码,模型学到的都是行为共现:协同信号密集处很强,稀疏处表现欠佳。冷启动用户、长尾 item 与意图模糊的会话正是协同信号的边界,也是大模型的世界知识与推理能力能够补位的地方。问题在于推荐系统每天数十~千亿次请求、数十~数百毫秒的延迟预算,大模型思考推理的成本和耗时都难以达到要求。TGR-Reason 方向的核心思路是”快慢思考”的分工:慢思考(大模型推理)在离线或训练期完成,快思考(在线生成式模型)毫秒级响应,两者通过共享的 SID 空间与 reason tokens 接口衔接。本章按两部分展开:训练期把推理摊销进模型参数的 LatentRec,以及把 Think 模型的推理结果物化为 reason tokens、在线零推理注入生成器的 TGR-Reason 系统。

4.1 协同信号的边界:冷启动、长尾与意图模糊

如上图所示,判别式与生成式推荐模型两者主要都在拟合行为共现:“看过 A 的人接下来看 B”——协同信号密集处很强,而在以下三类协同信号稀缺的场景效果欠佳:1)新用户 / 冷启动,历史序列为空或极短,没有共现证据可用;2)长尾 item,协同信号稀疏,几乎没有交互边可学;3)意图模糊的会话,历史指向多个方向,需要意图推断。

如上图所示,业界针对冷启动、长尾与意图模糊的既有解法可以归成两类:

1)借旁证,用替身代替缺失的行为。比如,人群先验(POSO,新用户组专属子模块加个性化门控,防止新用户特征被大盘”淹没”)、内容对齐(M3CSR,多模态 embedding 聚成可训练簇 ID,再与行为对齐进协同空间)、跨域迁移(EMCDR / MeLU,跨域映射或元学习”好初始化”,用几条交互快速适配)、探索采集(bandit 与兴趣选择页,主动采集反馈),最终都对齐进协同空间当作行为用。

2)多备选,判断不了就多路覆盖。比如,多兴趣向量(MIND / ComiRec,多向量分头覆盖多个可能意图)、解耦去偏(Google CDN / IPS,头尾解耦、重加权尾部样本,去流行度偏差)、情境约束与多样性(用时间 / 场景 / 多样性约束缩小候选范围)等。

两类解法的共同结构是一种补充证据加一种归纳偏置,但没有”推断”能力。

如上图所示,总结了业界把大模型接入推荐系统的五类常见方式,外加一层可叠加的推理:

A)表征增强,LLM 表征或语义码进协同模型当特征(如快手 LEARN、QARM,字节 HLLM,小红书 NoteLLM等);

B)离线推理产出知识或画像,缓存后作特征或召回通路(如淘宝 RecGPT,Amazon COSMO,美团 CoEA等);

C)模拟与数据增强,LLM 为冷物品、新用户”造”交互(如Google 数据增强器,阿里 ColdLLM / FilterLLM等);

D)物品 token 空间,LLM 扩 SID 词表,用行为序列继续预训练加 SFT,自己生成物品(如Google PLUM,Spotify GLIDE等);

E)自然语言空间,物品与行为写成文字,LLM 微调或零样本打分(如LinkedIn 360Brew,LLM-Ranker等);

推理叠加层可叠在任意骨干网络上、不限于 LLM,显式 CoT 如 OneRec-Think / OneReason,隐式 latent 多步如 ReaRec、LARES、LASAR、PauseRec等。

综上所述,协同信号在一定程度上是管”记忆”,而大模型是补”推断”能力,“协同 + 推断”的融合是业界积极探索的演进方向。

4.2 快慢思考:推理增强推荐的范式与业界路线

4.2.1 快慢思考:从双过程理论、LLM 到推荐系统

如上图所示,“快慢思考”在三个领域的运作机制:

1)认知科学中(Kahneman《思考,快与慢》),System 1 直觉、自动、并行,几乎不耗注意力,快但带系统性偏差;System 2 审慎、串行、耗费注意力,能做逻辑与反事实推理,但昂贵;两者的协作方式是默认 System 1,新奇、冲突、高风险时 System 2 介入纠偏,技能熟练化把慢的推理沉淀为快的直觉。

2)LLM 中,直接作答(non-thinking)一次前向逐 token 输出、延迟低,难题上容易”想当然”;思维链 / 长推理(thinking)用更多推理 token 换准确率(test-time scaling);协作方式是混合模式在同一模型内切换 thinking / non-thinking 并给推理设预算,以及蒸馏,把慢的输出蒸馏回快模型。

3)推荐系统中,快是一次前向直接匹配,编码历史后直接生成或匹配候选;慢是多步推理,显式 CoT 或隐空间 rollout;协作的核心问题是慢的一步放在哪里——请求内按需路由、离线 / 近线缓存、还是训练期摊销。沿这个思路,LLM 思考推理增强推荐的设计主要涉及两个关键问题:推理范式与部署方式。

4.2.2 推理范式:显式 CoT 与隐式 latent

如上图所示,推理范式的第一种是显式 CoT——用文字想,可读可解释,但推理开销较大,有两种形态:

1)在线 CoT 让每个请求都在请求路径上逐 token 写思维链,数百 token 的生成超出数十~百毫秒的延迟预算。

2)Think-Ahead 把思维链离线写好、只缓存结果,在线按前缀约束解码:离线做全量 OneRec-Think 推理,得到推理路径与首批 SID token,按用户缓存;在线读缓存前缀,由轻量 OneRec 做约束解码,请求路径不再写思维链——这是 OneRec-Think 的上线形态。

第二种是隐式 latent——在潜在空间内思考,开销降到 K 步前向。如上图所示,编码历史得到 h₀ 后做 K 步隐向量 rollout,h₁、h₂ … h_K 每步一次前向、不写 token,再预测或解码 SID。

4.2.3 部署方式:请求内快慢路由与离线 / 近线推理

如上图所示,部署方式的第一种是在线推理——请求内按需深思,慢思考仍在请求路径上。请求经编码后由路由决定这次要不要“慢思考”:大多数请求走快路径,单次前向直接解码;少数请求(新用户、低活用户、不确定时)走慢路径,K 步 latent 或 CoT 之后再解码。业界有四种常见做法决定要不要思考、要思考多深:学习到的 selector / planner 按样本路由;预测与反馈不一致时触发反思;收敛即停,多想一步预测不再变化就停;流量分层,按用户群或场景分流。

第二种是离线 / 近线推理——慢思考不在请求路径上,如上图所示有两种方式:

1)训练期摊销:慢思考(CoT 或多步 latent)经蒸馏或逐步监督内化到模型参数里,在进行“慢思考”时模型直接解码。

2)离线 / 近线物化:慢模型(LLM / Think 模型)逐用户或逐物品推理一次,把推理前缀、指令 / 标签、候选池或 reason tokens 等物化产物写入按用户或物品组织的存储,在线请求只做一次点查与注入,解码时零推理 rollout。

4.2.4 全景图:推理范式 × 部署方式与 TGR-Reason 的路线选择

如上图所示,以推理范式为纵轴、部署方式为横轴,可以把业界工作放进一张 2×2 的全景图,实线为已上线或线上 A/B 的系统,虚线为论文或离线评估。

TGR-Reason 的解决思路是:LatentRec 在训练期把推理摊销进参数(K=0),TGR-Reason 把 Think 模型的推理结果物化为 reason tokens,注入在线生成式模型。下面分两节展开介绍。

4.3 LatentRec:隐空间“思考–生成”一体化

4.3.1 研究背景:推荐推理的收益与生成成本

LatentRec 的出发点是把推理过程转化为推荐训练信号。如上图所示,业界三条线索各有启发:

1)文本推理与任务对齐——OneRec-Think 分 item 对齐、推理激活、推荐奖励 RL 三阶段:由用户历史与目标 item 事后构造偏好推理轨迹做 CoT-SFT,先激活推理与推荐的关联,再以此为冷启动用推荐奖励 RL 校准;

2)连续隐状态与知识蒸馏——COCONUT 把上一步末层 hidden state 作为下一步输入,以连续向量承载中间计算;CODI 共享 LLM、通过 LKD 对齐师生隐藏表示;

3)推荐中的逐步监督——ReaRec 逐步监督各推理步的状态并配合温度逐步降低,使中间状态直接获得推荐训练信号,启发是把这种监督迁移到 LLM 的 SID 预测头。

由此 LatentRec 聚焦两个问题:一是 latent 推理迁移到 SID 解码时,反馈输入与监督如何设计;二是推理期不做 latent rollout 时,训练收益能否保留。

4.3.2 方法设计:隐空间“思考–生成”一体化

如上图所示,LatentRec 的总体架构是训练期多步展开、生成期直接解码。

(a) 总体流程:用户行为历史经 LLM Encoder 得到 h₀,连续思考模块 CTM 迭代 K 次(初始 h_k = h₀),SID Decoder 输出完整 SID(s_a、s_b、s_c、s_d);

(b) STS(Soft Token Selection)构造每一步的反馈输入;

(c) PRL(Per-step Reasoning Loss)监督每个中间状态。

训练时 K_train = 2:用户历史产生 h₀,STS 构造反馈输入,LLM 结合 KV cache 得到 h₁、h₂,PRL 分别监督 h₁、h₂,完整 SID 序列接受自回归 CE。

生成时 K_eval = 0:用户上下文直接进入训练后的 LLM,自回归预测完整 SID,跳过 CTM 展开,保留训练中更新的共享 LoRA,以及标准的 SID 解码与候选搜索。

LatentRec 模型可训练参数很小:Qwen3-1.7B 底座,LoRA rank 16,STS 的 64 个 soft token 约 2.5M 参数,新增参数小于骨干的 0.2%,仅更新 LoRA、soft tokens 与 W_q,训练 3 个 epoch、batch size 64。

两个机制的细节如上图所示:

1)STS 解决的是反馈输入的表示不匹配:hidden state 的范数约 45,词表 embedding 的范数约 3,相差约 14 倍,直接把隐状态反馈回输入会改变下一步输入的尺度与方向。STS 维护 N=64 个可学习向量,由词表 embedding 初始化;当前隐状态经线性投影 W_q 形成 query q_k,对 token bank 做 softmax 加权求和得到 e_k,作为下一步的输入,再经 LLM 前向(带 KV cache)得到 h_{k+1}。

2)PRL 共享预测头、直接监督推荐目标:每个中间状态 h_k 经过同一个 LM head 预测目标的第一层 SID y¹,损失是各步 CE 的平均,总损失 L = L_CE + λ·L_PRL,λ = 0.1;温度逐步降低,T_k = T_b + T_s(1 − k/K),T_b = 1、T_s = 5,K=2 时 T₁ = 3.5、T₂ = 1.0,早期分布较软,最后一步更聚焦目标。

为什么只监督首层 SID:更深码字需要在每步提供目标 SID 前缀,会把 latent 轨迹与固定解码路径耦合;首层监督可以独立施加,完整序列仍由标准自回归目标学习。

4.3.3 实验效果:推荐收益、生成效率与消融分析

如上图所示,主实验在 Amazon Beauty、Toys、Sports 三个数据集上比较 GRU4Rec、SASRec、BERT4Rec、HGN、TIGER、ReaRec、LLM-CoT SFT 与 LatentRec(Qwen3-1.7B,全库排序,beam=50)。K=0 的 LatentRec 在三个数据集的 HR 与 NDCG 四项指标上均优于全部基线,HR@10 相对 CoT SFT 在 Beauty +5.0%、Toys +4.5%、Sports +4.0%。

推理成本上(Beauty 数据集,单张 H20,batch=1),CoT SFT 每个样本要额外生成 128 个文本 token,单样本耗时 10.80 秒;LatentRec K=0 不做 latent 展开,单样本耗时 0.59 秒,推理耗时降低到原来的约 1/18,HR@10 还从 0.0625 提高到 0.0656;K=1 耗时 0.61 s、HR@10 0.0660,但在三个数据集上没有一致的收益,默认采用 K=0。

接下来,通过消融实验分析来看收益来自哪里、展开多少步合适,如上图所示:

1)PRL 的效果增量:在 CoT SFT 的 0.0625 基础上继续 LoRA 训练到 0.0629,加 CTM 到 0.0633,加 PRL 到 0.0656,最后一步相对提升 +3.63%,是三步中最大的一步。

2)训练与生成深度的关系:K_train=2 的 K=0 结果最强,K_train=4 在 K=1 处达到最优,K_train=16 整体偏低;展开更多步未必更好,训练与测试深度需要匹配,跨三个数据集默认 K_eval=0。

3)CoT 初始化对照:有 CoT 初始化与无 CoT 初始化在 K=0 时收敛到相同的 0.0656,随着展开加深差异扩大(K=16 时 0.0634 对 0.0583)——CoT 初始化在深层 latent 展开时有助于稳定效果,K=0 的直接生成路径则不依赖这一初始化,训练阶段的监督方式与生成阶段的展开深度需要分别选择。

4.3.4 解码性能优化

如上图所示,以小说推荐业务的 Think 模型为案例,任务是由用户上下文生成 top-5 完整 SID。

用户输入:包括画像 / 场景(年龄段、城市等级、职业、场景等)、偏好(已有一级、二级小说类目偏好)与行为(按序组织的阅读 SID 与内容标签),冷用户保留画像,缺少历史时使用占位描述。

模型是 Qwen3-1.7B 的 Think 模型,输出 top-5 SID 候选列表,下游 HiGR 共享同一 SID 空间。

输出格式是 4 层码字 × 256,加起止标记共 1,026 个 special token;

每位用户生成 top-5 完整 SID,按累计 log-prob 排序:K=0 是 latent 展开步数,B=5 是候选路径数,6 轮是单条 SID 的 token 长度。

训练先学习内容与 SID 的对齐,再学习用户到 SID 的预测,训练与推理共用 prompt 构造逻辑;候选搜索的优化重点是批量前向与前缀 KV 复用。

解码方案通过一次 POC 确定(vLLM 0.9.0,H20,2,000 条抽样),如上图所示,对比了四种解码路径的 Hit@5 与吞吐。我们采用批量单步 Beam的解码方式,它的做法是把 beam search 拆成"搜索"与"计算"两部分:业务层保存每条候选路径的前缀、累计分数和所属用户,每一轮把全部活跃路径集中提交给推理引擎,只请求下一个 token(max_tokens=1);引擎返回下一个 token 位置的 log-prob 分布;业务层据此在每个用户内部扩展路径、累加分数、保留 top-B,再进入下一轮。分工上,业务层负责候选状态、约束与用户内剪枝,推理引擎负责模型前向、连续批处理与前缀缓存。

批量单步 beam 的一轮如上图所示,以 100 位用户、每人保留 5 条路径为例:

1)当前有 500 条活跃路径,每条带着用户上下文与路径前缀,整批一起提交给 vLLM;

2)vLLM 只计算每条路径下一个 token 位置的输出分布,共 500 个,每个分布取回分数最高的 32 个候选 token;

3)业务层把每条路径扩展成 32 条,每位用户得到 5 × 32 = 160 条、全批共 16,000 条扩展路径,累加分数后在用户内部排序,每位用户只保留 top-5;

4)保留下来的 500 条路径进入下一轮,其余 15,500 条就此淘汰。

效率收益来自两处:合批——整批活跃路径统一交给引擎,由引擎做连续批处理;复用——同一用户的 5 条路径共享同一段用户历史(例如 900 token),vLLM 的前缀缓存按相同 token 前缀命中已有的 KV 块,每条路径只需计算未缓存的部分,跨路径、跨轮次都能复用,已生成的共同前缀同样可以复用。

4.3.5 小结

LatentRec 的出发点是把大模型的推理能力用于 SID 生成,同时不把推理开销带到线上。把推理过程转化为推荐训练信号会遇到三个问题:显式 CoT 要额外生成数百个文本 token,推理成本高;隐状态直接反馈回输入时与词表 embedding 尺度不匹配;中间状态缺少直接的推荐监督。

LatentRec 针对这三个问题分别给出了对应设计:1)CTM 在隐空间做多步展开,不写文本 token,训练展开 K=2、生成时 K=0 直接解码完整 SID,推理收益保留而开销归零;2)STS 用可学习的 soft token bank 构造每一步的反馈输入,解决尺度不匹配;3)PRL 让每个中间状态经共享 LM head 直接预测首层 SID,使中间状态获得推荐监督。

效果上,三个数据集的四项指标均优于全部基线,HR@10 相对 CoT SFT 提升 4.0%–5.0%,单样本耗时从 10.80 秒降到 0.59 秒。此外,配合批量单步 beam 与前缀 KV 复用,8×A100 上 418,227 条样本的生成耗时从 174 分钟降到 80 分钟,总体 Hit@5 从 0.2760 提升到 0.2782。

此外,LatentRec 论文《Do Recommenders Need to Think in Words? Latent Reasoning for Efficient LLM-Based Recommendation》已被 CIKM 2026 录用。

4.4 TGR-Reason 系统:快慢模型 co-design

4.4.1 设计背景:时延、成本与持续学习

LLM 推理难以直接用于线上推荐系统主要有三个原因:

1)时延:推荐请求的延迟预算是数十毫秒~百毫秒,一次 LLM 推理基本都要秒级,相差 1~2 个数量级,单次推理就占满整条链路的预算。

2)成本:请求内推理的总成本随曝光量线性增长,其中大量曝光并不转化,计算被浪费;GPU 还要按峰值配置,低负载时段大量闲置。

3)持续学习:推荐样本分布漂移快,新 item 与新用户持续进入,模型需要小时级或天级的持续学习才能跟上;大模型重训成本高,通常周级发布一版,强行让它高频微调,反而会在窄分布上稀释其通用语义与世界知识。

TGR-Reason 的方案是快慢模型的 co-design:慢模型(Think 模型)负责思考,快模型(在线生成器)负责生成。大模型低频重训,承载语义与世界知识;在线生成器持续学习,承接新 item 与新用户;reason tokens 作为两者的接口,离线预计算并存储,把两种学习节奏衔接起来。

4.4.2 方法设计:快慢思考协同的三层架构

如上图所示,三层部署架构是在线只读、近线按需刷新、离线兜底,三层共享一个以用户 ID 为键的 Reason Store:

1)Part A 在线服务,毫秒级、只读:按 user_id 点查一条 Reason 记录,校验有效期与版本,然后以token或特征等形式注入 TGR-GenRec、TGR-GenRank 的模型。

2)Part B 近线推理,秒级、请求触发:每个请求异步发出触发事件,Reason Trigger Controller(RTC)判据决定算不算,准入的任务交给常驻 GPU 池攒成小批一起算,结果写入 Redis、供用户后续请求使用。

3)Part C 离线推理,日级、吞吐优先:扫描日志与存储元数据识别待重算用户,弹性大批量池整批重生成,周级重训发布后把不兼容记录标为待重算并渐进重建。

4.4.3 工业落地

如上图所示,介绍两种TGR-Reason的应用落地方式:

1)离线召回,KV存储中的 topk_sid 经 SID 倒排索引映射到 item,过滤 / 去重、合规与库存之后进入独立配额的召回队列;

2)在线生成,KV存储中的 topk_sid / cot_emb 经 GMR / DRI 模块注入 TGR-GenRec 的 Encoder–Decoder 解码,生成的 SID 映射到 item;

离线召回的实现方式相对简单,这里不再赘述,重点介绍在线生成的实现方案。

在线生成是把 reason tokens 注入 TGR-GenRec,如上图所示:

1)图中右侧是 LatentRec:用户的个人记忆经 LLM Encoder、CTM 与 SID Decoder,产出 top-K 条完整 SID,即 reason tokens。

2)图中左侧是 TGR-GenRec:encoder 侧有两路——Personal Encoder 编码个人记忆,Group Encoder 编码检索到的群体记忆;decoder 每层以 self-attention 的输出为 query,分别对两路 encoder 输出做 cross-attention,再经 MLP 门控融合。

3)reason tokens 从两个入口进入生成器:

3.1)GMR(Reasoning-Guided Group Memory Retrieval)作用在 encoder 侧——以每条 reason token 为 query,在全量历史序列中检索其后续窗口,得到"推断意图之后用户通常会看什么"的群体记忆,由 Group Encoder 单独编码后与个人记忆门控融合,个人记忆为主、群体记忆按兼容性激活;

3.2)DRI(Direct Reasoning Injection)作用在 decoder 侧——top-K 条 reason token 与 encoder 输出做 cross-attention,结果作为 soft prompt 插在每一层目标码字之前,为逐层解码提供先验;生成的 SID token 数与 beam 搜索空间都不变。

GMR 的四个要点如上图所示:

1)用完整 reason token 做检索 query,检索获取 W 个 item;

2)每个 query 独立取 top-M 再拼接,每个 reason token 按频次保留 M 个高频后继、不做全局重排,保留每个推断意图各自的后续行为,共 K·M 个 item;

3)分离编码、保留来源差异,群体记忆由独立的 Group Encoder 编码;

4)向量门控的非对称融合,解码每层两个独立的交叉注意力分别对应 Personal Encoder 输出与 Group Encoder 输出,个人记忆始终是主信号。

DRI 的四个要点如上图所示:

1)按码本层重组、保留全部 K 个候选,一个 reason token 是一个连贯的候选 item,其码字在各层角色不同,DRI 按层查共享的 SID embedding;

2)以 Personal Encoder 的输出为 query 选证据,Personal Encoder 的输出作为用户兴趣表达,学的是”哪些候选与个人记忆兼容”,而非照抄 LLM 的 top-1;

3)作为连续的层级对齐 prompt 插入解码(叠加位置与类型 embedding),prompt 是增强而非替换用户历史;

4)beam search 前算一次、所有 beam 共享,SID 决策数与 beam 搜索空间都不变,reason tokens 全缺失时 prompt 位置被 mask,退化为原路径。

Decoder 侧还有一种内部探索的注入方式:先选 top-N,再并行多路解码。如上图所示,不把 K 条意图压成一个先验,而是以 Personal Encoder 的 user emb 为 query 对 K 条 reason SID 做相关性打分,挑出最相关的 N 条(N < K),每条各走一路 TGR-GenRec Decoder 得到一组 SID 候选,各路只带一个意图、互不干扰、可并行执行,最后合并去重进入统一精排。

另外一种方式是后训练阶段注入——在 TGR-GenRec 的后训练(OneModel 强化学习,以 LLM 模拟反馈作 reward)中注入 reason 结果,离线暂未取得显著收益。

4.4.4 实验与效果

如上图所示,离线实验以3个测试日等权平均,对照为线上在用的 TGR-GenRec:

1)全部推荐流量上,Hit@1 从 0.3385 提升到 0.4339(+28.2%),Hit@5 +10.4%,Hit@10 +6.3%,Hit@20 +4.1%,Hit@50 +2.4%;

2)主推荐流量上,Hit@1 从 0.2247 提升到 0.3563(+58.6%),Hit@5 +13.1%;

3)主推荐流量中的冷启动用户,Hit@1 从 0.0451 提升到 0.2606(+477.8%),Hit@5 +39.2%,Hit@10 +24.9%,Hit@20 +20.1%,Hit@50 +11.6%。

有两点实验观察:

a)增益集中在列表头部(Hit@1 +28.2% 对 Hit@50 +2.4%),Reason 推理的贡献主要是把合理的目标推到前几位;

b)冷启动用户增益最大,reason tokens 提供了针对新用户缩小目标空间的语义先验。

此外,线上 A/B 小流量实验上,对照为未引入 Reason 的 TGR-GenRec:有效消费率(Effective Consumption Rate)+1.75%,新用户曝光–转化率(Exposure-to-Conversion)+13.09%,两项均统计显著,新用户的转化提升远大于整体。

4.4.5 小结

TGR-Reason 系统通过快慢模型的 co-design 来解决把大模型推理放进线上推荐的问题,架构上分为在线 / 近线 / 离线三层,其中慢模型的思考token注入 TGR-GenRec,是把推理当"先验"——GMR 把 reason 引导的群体记忆注入 encoder,DRI 把 reason 作为层级对齐的 soft prompt 注入 decoder,不增加 SID 决策数与 beam 空间。

效果上,离线全部推荐流量 Hit@1 +28.2%、冷启动用户 Hit@1 +477.8%;线上 A/B 有效消费率 +1.75%、新用户曝光–转化率 +13.09%。

4.5 Reason 方向总结与展望

TGR-Reason 方向探索把大模型的世界知识与推理能力引入推荐系统,补上协同信号之外的"推断"这一步,并且沿慢思考的两种落地方式分别提出了 LatentRec 与 TGR-Reason 系统,并均已在线上业务落地。

展望未来,TGR-Reason 的下一步沿四个方向继续探索:

1)选择性深思:when-to-think、收敛即停与路由策略设计:尝试对高价值 / 冷启动请求在请求时启用 K>0 解码;

2)推理离线化与蒸馏:System 2 → System 1,借鉴 reasoning-augmented LLM 的做法,把 Think 模型的能力蒸馏到更小、更快的变体,缩短刷新周期、扩大覆盖;

3)latent 推理 SID 原生:把逐步监督扩展到更深的 SID 层与整屏 slate,与 HiGR 的规划器协同,让 reason tokens 直接约束整屏生成,并探索 latent 步在 SID 位置上的自适应分配;

4)test-time scaling:建立可预测的算力–效果规律,把推理与排序打通,探索推理增强的"生成 + 排序"一体化方案。

总结与展望

从 CCFormer 到 BARGE、HiGR,再到 LatentRec 与 TGR-Reason,TGR 走的是一条逐段替换的路。排序模型的范式迁移解决了算力效率,端到端生成解决了决策单元与目标割裂,推理增强补上了协同信号之外的”推断”这一步。TGR 各个方向的技术方案介绍已经整合为 TGR 技术报告《TGR: Advancing Industrial Recommendation from Generative-Paradigm Ranking toward Unified Generation and Reasoning》(arXiv 2609.00986)公开发布。

TGR 已在腾讯新闻、浏览器、元宝等多个业务场景规模化落地,用户消费时长、广告收入等核心指标显著提升,TGR各方向已发表多篇论文并申请多项技术专利,部分成果已被AAAI、ACL、CIKM等国际顶级会议收录,下图为部分代表工作。

未来 TGR 将沿三个层面继续展开探索:1)生成式推荐模型的 scaling 效率;2)推理原生的生成与 test-time 计算;3)推荐系统的 Agentic 自进化。

特别是推荐系统的自进化方向,如何在 ROI 约束下,让 LLM 多智能体在有限的算力与线上流量预算内自主提出、验证并沉淀模型改进,把离线迭代与小流量求证连成一个可控、可审计的闭环。TGR 已在这一方向展开探索并取得初步效果,敬请期待后续更多 TGR 系列技术分享。

合作交流

以上生成式推荐解决方案已集成到“TRS推荐引擎平台”,如有方案接入或商务合作意向,欢迎随时与我们联系。欢迎访问官网了解更多信息:https://trs.tencent.com

附录

  1. TGR Team. “TGR: Advancing industrial recommendation from generative-paradigm ranking toward unified generation and reasoning,” arXiv preprint arXiv:2609.00986, 2026.

  2. Y. Wang, H. Zhang, H. Hu, Y. Li, et al. "CCFormer: Efficient Cross-Field Interaction and Hierarchical Sequence Compression for Industrial Recommendation at Tencent," arXiv:2607.28070, 2026.

  3. Y. Pang, Z. Liu, Y. Li, et al. "HiGR: Industrial-Scale Hierarchical Generative Slate Recommendation Framework in Tencent," CIKM / arXiv:2512.24787, 2026.

  4. J. Zeng, J. Zhu, J. Chen, Y. Li, et al. "Bridging the Structural Gap: Adapting Autoregressive Generation for Recommendation," arXiv:2607.21028, 2026.

  5. H. Su, B. Kong, L. Cheng, C. Zhuo, and Z. Li. "Do Recommenders Need to Think in Words? Latent Reasoning for Efficient LLM-Based Recommendation," CIKM, 2026.

  6. TRS官网:https://trs.tencent.com/

跳转微信打开

  •  

你在寒风中瑟瑟发抖,我在微信里 Vibe Coding

原创 池建强 2026-10-30 17:19 北京

最近北京开始降温了,今天夜里只有 3°,很多人开始瑟瑟发抖,我却在微信里 Vibe 得热火朝天的。

昨天发了墨问 Bots,连上微信,驱动我 Mac mini 上的各种 Agent 咔咔干活。一部分用户问我咋连接上微信的,还有一部分问,聊天问答不稀奇了,你怎么在微信里 Vibe Coding 呢?

今天说说这两个事。

如何连接微信呢?

墨问 App 里的 Bot 使用的是微信官方的 iLink Bot 协议,这个协议和 OpenClaw 没有任何关系,我们的电脑端不需要装 OpenClaw、Node.js、npm 插件或 Gateway,也不读取其他应用的微信凭据。

底层通信协议的接入域名是 ilinkai.weixin.qq.com,HTTP/JSON,2026 年 3 月 22 日左右随 ClawBot 一起推出,ClawBot 是微信里插件的产品名,它是 iLink 协议在微信客户端侧的入口。

用户只要在手机端“我 → 设置 → 插件”里开启 ClawBot,在创建或编辑墨问 Bot 的时候扫码授权,即可完成绑定;一个微信 Claw 账号同时只能绑一个 Bot。

目前微信 - 墨问 Bot 支持文字、图片和已转写的语音(图片单张 20M 上限,每批最多 8 张)。

连续输入的消息我会合并处理,每批最多 20 条;我对返回微信的 Markdown 展示方式做了适配,目前移动端和桌面端微信都可以正常显示。流式增量、工具中间结果不会逐条推微信,长文会分段输出吐给微信的聊天窗口。

所以,我做的事情是把 OpenClaw 微信渠道的服务端协议用 Swift 原生重写了一遍,换来的是免 Node 环境、凭据隔离和可持久化恢复,大概就这么回事。

比如墨问 App 最新的版本就是我外出吃饭时用微信发布的:

如何在微信里 Vibe Coding 呢?

其实微信连接的这个墨问 Bot 已经可以自己做 Vibe Coding 了,但模型是单一的,Harness 也没那么丰富,我选择了这么个路径:

微信 Claw —— 墨问 Bot —— Herdr 工作区(Codex、Kimi、Cursor 等)

比如,我可以让微信列出我的工作区:

这就是我用来研发墨问 App 的工作区,其实就是 Codex CLI、Kimi Code、Cursor CLI,我可以通过微信随意驱动这些编程 Agent 在我的电脑上干活,他们有自己的上下文管理,干完之后自动把回执交给墨问 Bot,Bot 再传给微信 Claw,左右开弓,随意切换,一切无比自然。比如:

小墨就是我的 Bot,我给它配置了 Kimi K2.8,速度非常快,用来分派任务绰绰有余,不同的 Agent 帮助我做实现和交叉 review,尽可能少出 bug,要知道,永远没有编程的最优解,我们只能毕竟最优,所以 reivew 永远是有价值的。

那么,这个工作区怎么建立起来的呢?Bot 怎么认这个工作区,而不是去终端里乱找呢?这都是 Herdr 的功能。

Herdr 是个面向 Agent 的终端管理器,是个命令行工具,类似 tmux,但更简单,更适合 Agent 定位和使用。

安装方式很简单:

    brew install herdr

    然后在终端里为 herdr 集成你的 Agent,目前只支持命令行 Agent,比如 Codex、Claude Code、Kimi、Cursor、Pi 等,输入:

      herdr integration status

      可以查看你装了啥没装啥:

      安装命令:

        herdr integration install kimi

        我装了 Codex、Kimi、Cursor,然后就可以建立多个工作区,如果我有很多项目可做,就可以建无数工作区,只要自己能管理过来就行。

        我一般是在微信里告诉墨问 Bot,在 herdr 里建一个 Codex 的工作区,工作目录是 xxx,就完事了。后续就可以直接通过自然语言使用这个工作区,这里面的各种编号和窗口,都是给 Agent 使用的,我们完全可以不用管。

        在 herdr 界面,使用 ctrl + b,q,就可以把 herdr 放到后台,但完全不影响我们在微信里使用这些工作区,是不是很神奇?

        其实 Bot 还能干很多事,比如我让它修改这篇文章里的错别字:

        我说,修改吧。就改完了。

        今日更新:

        https://pub-sdn-001.mowen.cn/mo/release/mo-agent/Mowen-0.6.3.dmg

        跳转微信打开

        •  

        TRAE又又又更新了,开发工具开启贾维斯时代!

        原创 小互 2026-10-30 17:08 安徽

        TRAE又又又更新了这次更新了一个我非常喜欢的功能,现在TRAE有BOT了,可以跨项目理解历史上下文。。。

        TRAE又又又更新了

        这次更新了一个我非常喜欢的功能,现在TRAE有BOT了,可以跨项目理解历史上下文,也可以在单个项目里拆解、并行、统筹多个任务。

        TRAE更新

        什么意思呢?

        讲简单一点就是 TRAE 有了像 Grok BOT 那样的机器人了,以前在 TRAE 里执行任务,每一个任务你得自己去盯进度,AI执行过程中有什么问题会停下来,等你回复,如果同时进行好几个任务,你就得在不同的任务里不停切换,看看进度如何,有没有执行好,或者有没有什么问题需要你解决。

        现在一个TRAE BOT统管所有任务,只要和他对话,会自己安排任务,任务比较复杂,他就会同时启动好几个任务并行,不需要你盯着,有进展会通知你。

        TRAE BOT工作台

        现在打开TRAE,左边侧边栏会有一个“TRAE 宝”,我给他改名叫奥特曼,希望他能帮我打怪兽,哈哈!

        TRAE宝入口

        点击奥特曼,就能进他的工作台,最近的任务和工作产物这里全能看到,如果任务在执行就会转圈,执行完了你还没检查就会是一个蓝色的点,不过这个界面我们一般用不到。

        任务和工作产物

        可以给他改名,还能把他连接到飞书或者微信,很简单,扫码就行。

        01

        安排点小任务,探探TRAE宝的实力

        安排任务

        我让奥特曼用代码做一个视频,他刚确认我又让他帮我装一个skill,它迅速把任务分发出去,我们不用管任务具体发给谁,怎么给任务内容的,只要他能把结果交付给我们就可以了。

        但如果你对其中某个项目特别关注,也可以点击对话里的胶囊,就可以进到奥特曼的工作台里看每个任务进度。

        查看任务进度

        如果你还是好奇这个任务到底在哪执行的,执行的过程是什么样的,点击最下面这个打开会话。

        打开会话

        这时就能看到,奥特曼创建了一个什么任务,这个任务是怎么执行的,细节党放心了吧?所有一切还在你的操控中,任何时候,你想对任务细节做任何人工调整,冇问题啦!!!

        很快视频做好了,我让奥特曼安排把这个视频嵌入一个网页,做一个符合这个视频调性的网页出来。

        既然用了BOT,就要习惯,不要把AI当做一个工具,要把他当做一个员工,当做一个活生生的人,他现在就在给你打工,你是老板,把任务发下去,至于他怎么做,怎么实现,只要给了目标和标准就行,不要像以前那样再扣每一个细节,他们自己发挥,做的不好就告诉他哪里不好,让他重做。

        TRAE小宝是有记忆的,和他互动的越多,他越能知道你的风格,喜好和禁忌,越用越懂你,所以一开始的磨合是必须的,不到万不得已,不要自己进入任务里修改,就算修改了,也要让TRAE小宝去看,告诉他你为什么要这样做。

        TRAE宝记忆与上下文

        比如这个视频是奥特曼安排一个线程做的,做网页的是另一个线程,他能把做网页的线程需要的上下文给他,比如这个视频的风格是什么,做的网页应该是什么样的,这些以前我们开单独线程,需要自己整理,现在只需要一句话:做一个网页嵌入这个视频,网页符合视频调性,其他一切交给奥特曼。

        你看奥特曼发出去的任务,如果让我自己安排,多累!

        任务并行执行过程

        这个视频和网页制作的过程我没有进具体的对话,都是和奥特曼交流,他想办法完成我的需求,而且经过做视频的几轮交流,他就知道对网页我大概应该是怎么想的,这就是理解跨项目历史上下文的好处。

        02

        做一个真实项目

        总管家

        总管家什么事都要管,整个对话里什么都有,如果你做一个耗时比较长的项目怎么办呢?除了侧边栏这个总管家奥特曼,每个编程项目里都有一个项目专属的管家。新建一个项目,这个管家就在等你了,这样我们可以保持这个管家的上下文只有这个项目,不会和其他项目交织。然后等这个项目完结后,再让总管家来看看这个项目,把历史对话拿过去。

        项目专属管家

        我在GitHub上发现了一个数学(小学到高中)、英语(三年级到高中)、初中物理的知识图谱:https://github.com/xiaoyang111222/cn-math-taxonomy。这可是好东西啊,家里的孩子也需要啊。

        知识图谱仓库

        作者做了一个网站来展示这些知识体系,但是我觉得这个网站做的用户体验不是很好,于是我就告诉奥特曼,去研究这个仓库,他派出去两个线程,一个研究和出体验报告,另一个研究数据结构。

        并行研究

        一通研究,竟然发现这个仓库里有很多错误数据,还有很多知识是缺失的,然后他主动说要先修复数据。

        发现错误数据

        不管他怎么修复,既然能发现问题,肯定有办法修,我让他修完了写一份完整的报告。

        完整报告

        不用等结果,直接安排下面的任务,因为他是多线并行,不像我们在一个线程里,要等一个完整的逻辑链走完再插入新的方向,不然整个对话历史都被搞乱了,再达到上下文窗口,一压缩,完蛋,接下来AI就要混乱了。

        有了奥特曼,我根本不管这些,想到什么分支任务,有什么新想法,不用等之前的任务结束,直接说。

        继续布置任务

        不要停,接着布置任务,去找可以借鉴的知识图谱展示的优秀创意和交互范式。

        调研优秀创意与交互范式

        看了奥特曼的调研报告,这个网站非常复杂,有接近2000个页面,再派一组去研究视觉规范,先做好视觉规范,后面这么多页面才不会跑偏。

        ✦总之,不用停,想到什么直接交给奥特曼,同步并行干!这时候已经有9个任务在并行跑了,之前我 就得在不同的任务之间切换,看各个任务进度,现在不用了。

        九个任务并行

        然后我告诉奥特曼我要去睡觉了,他来把控全局,明天我要看到完美的网站,再叮嘱他教学动画一定要符合孩子当下的知识水平,用简单易懂的方式做出来。

        然后我真的去睡觉了。

        睡觉等待项目完成

        今天我一忙,把这茬给搞忘记了,到了下午才想起来,这时电脑不在身边,我就用飞书问他做好了没。

        于是等我回到家,拿到了一个这样的网站。知识图谱,知识讲解,测验,家长管理,这些都是原来项目里有的,但是整个交互和视觉全部重构了。

        而我只是给奥特曼下了几个任务,其他都不管了,他去协调统筹安排,需要多少个并行他自己开,每个子进程进度他去跟。

        “

        还没体验过TRAE 宝的兄弟们,以后做项目,先把调研和Demo阶段交给它,可能他会带给你意想不到的交付。

        写在最后

        AI发展到这个阶段,距离真正的AGI还有很长的路要走,但是2026年一年,从年初的小龙虾到现在的 Personal Agent,贾维斯离我们越来越近了。

        AI越来越像是一个真实的人,我们可以放心的把那些消耗精力的事情交付出去。

        TRAE的个人助理在开启新任务时不需要再从零解释,复杂项目推进时,不用自己拆任务、切会话、盯进度、拼结果。我们可以当老板,把持续理解和推进开发进度这件事彻底交出去。

        而TRAE最大的优势是可以随时切换到IDE,上周一个朋友问我,你电脑上开这么多终端,什么都看不到……  我知道他的意思,很多人做项目,用AI写代码,是需要看到那些文件和代码的,这样才有掌控感,面对黑洞洞的终端没有掌控感。

        理论上TRAE宝也是能作为个人助理的,毕竟可以访问你电脑上所有内容,同时也可以通过授权活动更多的连接服务的...

        而且个人定制化更强...

        跳转微信打开

        •  

        下一代公司会从哪里诞生?

        原创 wulujia 2026-10-30 17:06 新加坡

        做了,爽了,够了。

        前些天在硅谷,参加了 NUS 组织的论坛。现场挺热闹,基本上问题都围着 AI。

        现在所有公司都跟互联网脱不开关系,未来所有公司也都会跟 AI 脱不开关系。到那时候,可能就没有什么“AI 公司”了——可能也就除了那几个模型厂商。

        主持人的几个问题,我记录一下我的想法。

        AI 时代,什么才是护城河?

        用户规模、产品特性、信息差、独特的数据,渠道、分发、讲故事的能力,接触用户与理解问题的能力、技术和产品的领先、对垂直行业的深度理解、可靠的验证/Loop、快速变化的能力、CEO 和高管对 AI 的理解和上手程度、信息安全、政府资质——这些好像都是一部分护城河。

        但也在渐渐被无限便宜的智能抹得没那么不可逾越。

        或许,得是所有这些累加起来后,带给用户的价值,以及长期服务用户之后,用户给予的信任。

        从 Copilot 到 Agent,软件、组织和个人会怎么变?

        软件会慢慢“隐身”,背后是不同的服务提供商。

        组织会更小、更扁平、更透明,上下文也会更清楚。但我自己的体验是,流程没变的时候,其他改动都很皮毛。个人效率提高,带不来组织效率提高。

        我看组织效率,有三个“没用”:

        • 流程不变,效率高也没用(比如研发还是传统流程,版本迭代就还那样)。

        • 不赚钱,效率高也没用(大多数公司不但没多赚钱,还多花了 token)。

        • 大方向不对,效率高也没用(比如做了方向错误的产品)。

        对个人来说,我觉得要学会配合 AI 工作,而非指挥 AI。再找找 AI 和大公司之间剩下的夹缝,自己能在里面做什么。

        AI 会从数字世界走向物理世界吗?

        我觉得会走向物理世界。当然,这只是猜测,我自己没有这方面的经验,纯粹科幻的想象:我把 AI 当成一个更厉害、贪婪、有自主意识的东西来看。它对数据是贪婪的,而且在一定程度上,已经控制了很大一批知识工作者——比如我。

        它还需要更多输入,也会要求我们提供更多输入。虚拟世界的拿的差不多了,新的输入,在物理世界里。

        创业公司需要 Born Global 吗?

        我是觉得没必要一开始就要奔着全球去。先解决自己的、身边的、本地的小问题,这些才是真夹缝。

        全球化不用刻意追求。用户在哪里,就到哪里。

        下一代公司会从哪里诞生?

        我觉得会从自己的需求里,从 AI 和大公司之间的夹缝里诞生。不追求做大,至少先把自己做爽了。做了,爽了,够了。


        顺便广告一下我的书,夹缝生长。现在真的要找夹缝呀。


        封面:Claude Monet,Argenteuil,约 1872 年,布面油画。 来源:美国国家美术馆。

        跳转微信打开

        •  
        ❌