蟠桃会设计播客第一期VOL.3如何让AI更懂我
淘宝设计 2026-09-30 20:04 浙江
AI让我们更像设计师还是更不像?
👅AI让我们更像设计师还是更不像?
🧨如何让AI能更懂设计师的想法和结果?
🛎️如何判断和控制AI所产出的设计内容?
🎡设计团队需要具备怎样的AI系统能力?
🥇职场新人如何在AI的环境下获得成长?
🎯我们的思考和表达发生了怎样的变化?
🏗️我们的贡献和价值发生了怎样的改变?
淘宝设计 2026-09-30 20:04 浙江
AI让我们更像设计师还是更不像?
👅AI让我们更像设计师还是更不像?
🧨如何让AI能更懂设计师的想法和结果?
🛎️如何判断和控制AI所产出的设计内容?
🎡设计团队需要具备怎样的AI系统能力?
🥇职场新人如何在AI的环境下获得成长?
🎯我们的思考和表达发生了怎样的变化?
🏗️我们的贡献和价值发生了怎样的改变?
砺心 2026-09-30 19:23 四川
这篇不敢发公众号,有需要请点击阿虚头像进入公众号主页
私信 ➔ 公众号菜单栏 ➔ 粉丝必看 ➔ 万事屋 ➔ 公众号文章备份 ➔ 看最新文章
不敢说你能无限免费用顶级模型,但 DeepSeek-4.1-Flash/GLM-5.3-Flash/Qwen-3.8-Flash 这类模型是随便爽蹬
每天都有几亿 tokens 的用量
只要国产 Agent 厂家还搞签到送积分、送额度,工具就几乎一直可用
最后,祝大家国庆快乐,玩的开心[旺柴]
原创 南极熊、章北海 2026-09-30 18:30 上海
你随手发的一张照片,得物把它变成了一个能转着看的三维场景。这不是"照片会动"那种小把戏,而是用 3D 高斯重建出纵深,再压进手机,转一下就能"看"进画面里的空间。难的不是生成 3D,是把它做小、做快、做到手机上稳定跑 60FPS。这篇拆开给你看。
目录
一、引言:从静态照片到可交互的空间图片
二、方案概要:空间图片的端云协同链路
三、模型生产:从单张照片到三维高斯场景
1.空间视差原理
2.三维高斯表示
3.单图生成的能力边界
四、质量评价:从像素误差到多视角观感
1.像素误差度量
2.感知质量评价
3.多视角一致性评测
五、模型体积压缩:平衡画质、体积与渲染成本
1.高斯减点与画质取舍
2.属性编码与格式压缩
六、移动端渲染:让空间图片流畅响应视角变化
1.空间坐标与视角交互
2.GPU 深度排序
3.GPU 实例化绘制
4.其他优化
5.端侧实测表现
七、总结
八、写在最后:关于得物音视频团队
一
引言:从静态照片到可交互的空间图片
iOS 26,苹果推出空间照片(Spatial Scene),轻轻转动手机,照片里的主体和背景随视角产生不同的位移,一张普通图片便有了可以探索的空间层次。
得物技术团队随即启动相关的技术预研并上线。在得物,用户发布图片时带上 #空间图片 话题,服务端异步生成三维场景模型,客户端根据手机姿态实时渲染。创作者仍然使用熟悉的图文发布方式。
发布活动页
视频交互示意
3D 空间图片功能的落地,涉及模型生成、内容分发、客户端渲染之间的一系列取舍。本文重点分享如何生产出高质量、小体积的模型,以及如何在手机上流畅运行。
二
方案概要:空间图片的端云协同链路
在落地过程中,模型质量、文件体积和端侧开销需要一起权衡。减少高斯点数,可以降低存储与绘制成本,也可能丢失新视角中的细节;压缩后的文件更小,解码时仍可能占用较多内存。
服务端完成模型生成、多视角渲染和质量评估,再将模型压缩后分发。客户端经过设备准入,完成下载、解码、GPU 上传和实时渲染。完整链路如下:
本文按模型生产、质量评价、模型体积压缩、移动端渲染四个环节,说明方案选择和工程实现。
三
模型生产:从单张照片到三维高斯场景
空间视差原理
普通图片记录了固定视角下的颜色信息。当观察位置移动时,不同距离的物体在画面中产生不同程度的位移,这种运动视差是空间感的重要来源。
相机横向移动时,近景在画面中的位移大于远景
要让图片随视角变化,需要先建立可渲染的三维表示。生产侧采用单图前馈生成路线:从输入图片提取几何与外观线索,预测三维高斯属性,输出场景模型。客户端加载模型后,通过改变虚拟相机的视角绘制画面,无需在每次手机转动时重新运行生成网络。
三维高斯表示
3D Gaussian Splatting(3DGS)用一组三维高斯基元表示场景。每个基元可以理解为一个带有颜色、不透明度和空间范围的柔和椭球。位置决定它在哪里,尺度与旋转决定形状和方向,颜色与不透明度决定它对画面的贡献。
渲染时,三维高斯被投影为屏幕上的二维椭圆,再按深度顺序进行透明度混合,形成最终画面。相机视角改变,投影与遮挡关系也随之改变,前景和背景因此产生不同的位移。高斯数量、屏幕覆盖范围和重叠程度都会影响绘制成本。
3DGS 渲染原理示意:三维高斯、投影、排序混合与二维画面
原始 3DGS 方法通过多视角照片优化一个场景的高斯参数;本方案从单张图片直接预测高斯属性,再交给渲染器展示附近视角。两者使用了相同类型的场景表示,生成高斯参数的方式不同。
单图生成的能力边界
单图生成降低了素材准备门槛,但照片没有记录被遮挡区域的真实信息。新视角中出现的内容包含模型推断,观察范围越大,越容易暴露空洞、拉伸或错误的遮挡关系。实际体验需要约束在原始视角附近。
生产规模也不能只由生成效果决定。在本项目中,内部处理分辨率会影响高斯数量,进而影响存储、排序和绘制开销。生成分辨率与客户端输出分辨率是两个变量,应分别控制。后文先说明评价方法,再用实验结果解释当前模型档位的选择。
四
质量评价:从像素误差到多视角观感
像素误差度量
空间图片不能只检查正面截图。一根鞋带可能在正面完整,转动后却出现断裂;人物轮廓可能露出空洞,远景纹理也可能在某些角度变得稀疏。评价需要覆盖视角变化后的画面。
PSNR 基于对应像素的均方误差,主要反映数值保真程度。SSIM 比较局部亮度、对比度和结构,能够描述部分结构变化,但仍依赖图像之间的空间对应关系。
视角合成中的微小几何偏差,会改变边缘在画面中的位置。即使纹理和整体观感接近,像素比较也可能受到明显影响;某些平滑结果则可能取得较小的像素误差,却损失细节。因此,本项目以 LPIPS、DISTS 等感知指标作为主要评价依据,PSNR、SSIM 可用于辅助诊断,不单独据此判断观看质量。
LPIPS 论文中的一组例子直观展示了这种差异。每组三张图以中间的 Reference 为参照,绿色对勾表示对应评价方式认为更接近参照的候选。左侧建筑案例中,人更倾向于保留细节但发生局部形变的右图,而图中列出的传统指标选择了模糊的左图。
传统指标与人眼判断可能给出不同的相似度排序
感知质量评价
LPIPS(Learned Perceptual Image Patch Similarity)利用神经网络提取图像特征,再比较特征空间中的差异,为纹理、轮廓等感知变化提供参照。
DISTS(Deep Image Structure and Texture Similarity)结合深层特征的结构与纹理统计,对一定程度的纹理重采样和轻微几何变化具有容忍性。将它与 LPIPS 联合观察,有助于定位轻量化后的细节退化。
两项指标都是数值越低,表示与参照图像的差异越小。前提是参照有意义:新视角渲染图不能直接与原始视角照片比较,否则正常视差也会被计入差异。
LPIPS 与 DISTS 的计算流程
多视角一致性评测
我们使用两类参照,分别检查生成过程和轻量化过程:
对比时需要统一图像尺寸、裁切范围等条件。轻量化评测的参照是基线模型的渲染结果,并非新视角的真实拍摄图像。如果基线模型本身存在生成错误,与它接近并不能说明新视角合理。
逐帧相似度也无法完整反映转动过程中的闪烁。指标之外,还需要连续观看,并回看遮挡边缘、文字和细结构等典型失败案例。下一章的帧级统计用于比较模型档位,不等同于模型整体合格率。
五
模型体积压缩:平衡画质、体积与渲染成本
高斯减点与画质取舍
模型轻量化包含两个环节:先减少需要表达和绘制的高斯基元,再压缩每个基元的存储开销。减点会改变场景表示,同时影响文件大小与端侧工作量;格式编码主要降低分发体积,运行时收益取决于解码方式和数据布局。
阶段实验比较了降低生成分辨率、均匀降采样和过滤部分基元等方式。均匀降采样能够直接减少点数,但测试中出现了放大后条纹感明显的案例。降低生成分辨率也有代价:继续压低点数时,毛发、人物边缘和大范围背景更容易缺失细节。
本轮比较使用统一的 5 秒渲染视频,每秒抽取一帧,对比相同序号的画面。每个轻量化档位累计得到 185 组对应帧,两项指标分别统计如下。
这些阈值用于本轮方案比较,不代表通用画质等级,两列比例也不能合并理解为联合通过率。高点数档位在两项指标下的帧级达标比例都更高。案例回看中,部分雪景和社区远景在低点数下出现的黑影、空洞或元素缺失,提高到该档位后有所改善。
低点数下的黑影空洞
结合多视角评测与端侧表现,当前采用较高的高斯点数,在保证效果的同时,能够大幅减少点数。
属性编码与格式压缩
确定模型规模后,还需要将原始的 PLY 模型压缩,以减小传输文件大小。我们通过属性量化和紧凑编码组织三维高斯数据,减少存储与网络传输体积。量化会引入数值误差,需要单独核验画质。
以本次测试使用的属性布局为例,位置、颜色、不透明度、尺度和旋转共包含 14 个 float32 数值,每个高斯的属性负载约为 56 字节。
减点与格式编码的作用区别
优化后,在保证渲染质量的前提下,文件大小相较于压缩前减少约81.5%。
六
移动端渲染:让空间图片流畅响应视角变化
大量的高斯点进入移动端后,开销分布在解码、数据搬运、排序和像素混合几个阶段。加载时并行还原属性,首帧建立深度索引,后续按需绘制并复用索引。
客户端展示与交互
空间坐标与视角交互
高斯点保存在世界坐标中,结合模型外参与观察目标建立初始相机,内参和画面比例决定投影。视图矩阵 V 将高斯变换到相机空间,投影矩阵 P 再将其映射到屏幕;相机空间以前方为 −Z,后续排序与投影都使用这套坐标。
陀螺仪将角速度积分为受限的横向、纵向相机位移,相机始终看向观察目标,形成小幅视差。手势可通过 Camera 的 orbit/pan/zoom 接口调整三维视角。
GPU 深度排序
高斯投影是半透明椭圆,同一像素可能被多个高斯覆盖。Alpha 混合与顺序有关:当前绘制路径需要先画远处,再叠加近处,否则前后颜色的贡献会颠倒。因此按高斯中心的相机空间深度建立绘制顺序;这种全局排序是近似,并非逐像素的精确遮挡求解。
采用 GPU 稳定 Radix Sort:生成 32 位深度键,每轮处理 8 位,经过 4 轮计数、前缀和、重排,输出排序索引。索引留在 GPU,后续绘制直接读取;Compute 与 Render 之间建立资源依赖。首帧排序后复用索引,适用于受限的小幅视差,大幅改变视角需重新评估排序。
经测试,采用 GPU 排序,排序耗时降低 60%–75%。
GPU 实例化绘制
每个高斯用一个四顶点四边形承载,片元着色器计算椭圆范围内的颜色与透明度。当前普通显示路径通过一次实例化 draw 绘制 N 个高斯:vertexCount = 4、instanceCount = N,减少逐高斯提交的 CPU 命令开销。
同一组高斯在两种提交方式下的绘制流程(N = 5 为示意)
GPU 用 instanceID 经排序索引找到高斯,用 vertexID 生成四个角。相比图中的逐个提交,实例化绘制省去了重复的 draw 调用和 CPU 顶点展开;高斯数量、约 4N 个顶点工作项及透明混合仍然存在。非实例化绘制也可合批,图中的 N 次调用仅指逐高斯提交。
// C++ 风格伪代码:普通显示路径的一次实例化绘制bind(gaussianBuffer, sortedIndices, uniforms);drawInstanced(TriangleStrip, 4, pointCount);// 顶点阶段按 gaussians[sortedIndices[instanceID]] 读取属性。
其他优化
端侧实测表现
iOS、Android 分别用高端机、中端机、低端机对不同高斯点数的模型进行效果测试、性能测试,性能测试指标包括帧率、内存占用、手机发热情况等,最终选择较高点数的模型。经真机测试,iOS 、Android 帧率稳定在 60FPS。
得物 APP 内渲染,稳定60FPS
七
总结
本次实践中,我们结合多视角质量与端侧表现确定模型档位,通过格式编码进一步压缩分发体积,并在客户端通过数据组织、排序与帧调度降低运行开销。最终,在保留模型细节与多视角观感的同时,降低了内容分发与端侧渲染的负担,让 3D 内容以更轻量、流畅的方式融入用户的浏览与交互体验。
八
写在最后:关于得物音视频团队
我们是得物音视频团队,专注于多媒体算法与工程,业务覆盖多媒体处理、播放器、AIGC、智能创作等方向,已上线 3D 球鞋展示、AR 试穿等创新玩法。围绕图片、视频、音频、Live Photo、3D 等内容,我们建设从智能生成、云端处理、内容分发到端侧播放与交互的完整技术链路,持续打磨画质、性能与使用体验。我们希望把技术探索融入日常创作与浏览,让创作者更轻松地表达想法,也让每一份分享以清晰、流畅、生动的方式抵达用户。欢迎加入得物音视频团队!
往期回顾
文 / 南极熊、章北海
关注得物技术,每周三更新技术干货
要是觉得文章对你有帮助的话,欢迎评论转发点赞~
未经得物技术许可严禁转载,否则依法追究法律责任。
“
扫码添加小助手微信
如有任何疑问,或想要了解更多技术资讯,请添加小助手微信:
原创 快刀青衣 2026-09-30 17:00 新加坡
更关键的,是平台和用户两道门槛。
如果大家最近看社交媒体,特别是关注AI类内容,就会发现有一个新出的AI产品被频繁提起,就是Meta出的Muse。
这个产品的名字,中文可以翻译成「缪斯」,我们经常在文学作品里看到的缪斯女神,就是这个词。
不过,我猜扎克伯格他们选这个词当产品名字,可能也是因为这个词有「灵感来源」的含义。他们估计想表达的是,这个助手可以了解你想做什么,主动出主意,再帮你把事情办成。
Meta这个产品的爆火,我觉得完全是场景的胜利,因为他们瞄准了一个其他AI公司都没怎么关注的场景。我跟你说一下。
你有没有过这种经历?某天翻信用卡账单,突然发现一笔每月自动扣费,9.9美元,已经扣了大半年。
你完全想不起来这是什么东西,点进去一看,噢,是去年试用过一次、后来就再也没打开过的某个APP。你当时想的是「回头再取消」,然后就没有然后了。
如果你像我一样,经常要尝试非常多的AI新产品,这个痛点就更明显了。因为很多AI工具的订阅,基本上首月都是9.9美金,但第二个月就到了二三十美金。
但这个时候,可能我早已经忘记自己给这个软件付过费了,几个月下来也不少钱。哪怕真的想取消,我都经常忘记那个产品到底叫什么名字。
反正这两年,这种事太常见了。我一开始以为是自己太懒了,后来问了不少人,发现大家都跟我差不多。
不是因为懒,是它实在太琐碎了,琐碎到你不会专门腾出时间去处理。
但这时候如果有一个AI,它能自己去翻你的邮箱,找到所有订阅确认邮件,识别出哪些订阅你可能早就忘了,然后问你一句:这三个要不要帮你取消?
你说取消,它就自己去点退订、填表单、走完整个流程。我试了一下,反正它比较顺滑地帮我取消了七八个我早已经忘记的AI工具订阅。
虽然瞄准的切口很小,但因为有「省钱」这个概念,Muse一下子火了。
上线不到三周,Muse的下载量已经超过340万次,直接登上了美国App Store免费榜第一,而且已经超8万条用户评分,获评4.9分,这个速度在AI应用里算非常快的了。
但我今天想聊的,不是它的下载量有多炸裂。我想聊的是,它到底做对了什么,以及同样的事情或者功能,到了咱们国内,可能完全是另一个故事。
先说Muse到底是个啥。你可以把它理解成一个帮你跑腿的AI。注意,不是帮你聊天的,不是帮你写文章的,是帮你干活的。
你跟它说,帮我看看下个月有没有什么重要的截止日期。它就去翻你的邮箱、日历,把该交的费、该报的名,全给你整理出来。
你跟它说,我想买条短裤。它会问你什么尺码、什么风格、预算多少,然后去逛一圈网站,把候选的几条发给你看。你点头了,它甚至可以帮你下单付款。
是的,就是付款。Muse已经跟全球在线支付工具Stripe合作了,接入了Stripe旗下的Link支付。当你把自己的Link账户连上Muse后,它可以在部分支持的商家直接替你完成结账。
这就是为什么我说,它跟我们过去熟悉的聊天型AI很不一样。那些产品,再聪明也是你问一句,它答一句。
Muse不是,它是你交代一件事,它能在后台一直盯着,哪怕关闭APP后也继续干,等事情有了新进展,再主动来找你。你甚至可以给它起个名字,设定它说话的语气。
Muse的设计负责人分享过一个自己的经历:她把学校的邮箱接进了Muse,结果Muse自己从邮件里发现她儿子的体育选拔报名快截止了,主动提醒她赶紧处理。
到这里,你大概能理解它为什么火了。原因其实没那么复杂,它抓住的是生活里那些琐碎、反复、你一直拖着没做的小事。比如,退个订阅,追个截止日期,比比哪家便宜。
这些事有几个共同点:相比那些AI编程类任务,一点儿也不难,但很烦,而且结果一目了然。省了多少钱、有没有赶上报名,都比「模型更聪明了」的效果呈现具体得多。
再加上免费就能用,门槛低到几乎不存在。你不用配置服务器,不用写提示词,打开APP,说句话,它就开始干了。
但听到这里,我估计不少同学心里已经在想:这东西我能用吗?
答案是,如果你在美国,现在就能用。但如果你在国内,你了解一下这个产品所代表的趋势就可以了。因为在国内做同样的事情,难度完全不一样。
而且这个难度差异,跟AI模型聪不聪明没有太大关系。
我来从产品经理的角度解释一下。Muse之所以能在美国跑通,有一个很容易被忽略的前提,就是美国人的数字生活,很大一部分建立在邮箱和网页服务上。
你的银行账单是邮件通知的,你的订阅是网页端注册的,你的日历和待办是Google或者Outlook管的,你的机票、酒店等等信息,也都会给你发一封邮件。
这些东西有一个共同特点:它们对外部程序相对开放,也有比较标准的接口。就算没有接口,很多流程也发生在网页里,AI可以尝试通过浏览器操作。
所以,对个人Agent来说,只要拿到授权,它至少有一条相对统一的路可以走。
但大家想想咱们的生活数据在哪?在微信群聊里,在各种小程序里,在淘宝、美团、抖音这些APP的围墙花园里。
每一个APP都是一个独立王国,它们之间的数据几乎不互通,外部的AI更是进不去。
我再举个特别具体的例子。假设你是一个家长,孩子学校要报名参加一个活动。在美国,学校发封邮件,Muse从邮件里发现了截止日期,主动提醒你。你说好,它就帮你去网站上填表提交了。
但咱们呢?学校可能会把报名通知发在家长微信群里,附了一个小程序接龙链接。你得用微信打开小程序,用微信支付交费,交完之后再把截图发回群里。
这整个流程里,AI能帮你做哪一步?它读不了你的微信群聊,它打不开小程序,它用不了你的微信支付,它也没法替你在群里发消息。
这才是个人AI助手面临的真正难题。不是模型能力不行,是底层的数字基础设施完全不同。
其实不光是咱们国内用户面临这个问题,就算在美国,Muse也会碰到围墙。
比如亚马逊就直接把Muse给封了,不让它在自己的平台上替用户购物。原因很简单,亚马逊不愿意让一个外部AI跳过自己的界面,直接替用户做购买决策。
这不是技术问题,这是商业利益的冲突。毕竟谁控制交易入口,谁就控制了用户关系。
包括去年很火的AI原生手机。我当时也尝试了豆包AI手机,理念上很认可,但现实情况是,其他大厂不会把自己的订单数据告诉另外一个大厂的AI手机。
还是那句话,这不是AI能力的问题,而是商业利益的重新洗牌。
当然,亚马逊封禁Muse,说的是平台愿不愿意配合。但就算平台愿意配合了,还有第二个问题:用户自己信不信任这个AI。
《Inc》杂志特约编辑杰森·阿滕试用Muse的时候,特意没有授权Muse读取自己的私人消息。但后来他发现,Muse其实已经同步了他本地的Messages数据库,同步状态到达了第187,462行。
注意,这不是说它偷看了十八万条消息,187,462是数据库的行号。
这件事的冲击力在于,用户以为自己说了「不」,但AI系统理解的「不」和人理解的「不」,可能压根不是一回事。你以为你拒绝了,其实它已经走进去了。
Meta后来也回应了这件事。Meta的人解释说,Muse读取Messages,本身需要用户开启相关权限;Muse当时跟阿滕说自己只是看到了通知栏,这个解释是错的,属于AI对自己工作机制产生了幻觉。
但真正麻烦的问题其实还留着:阿滕坚持说自己明确拒绝了Messages权限,而Meta说这个功能必须由用户主动开启。这个权限最后到底是怎么打开的,公开信息里还没有一个完全说得通的答案。
我觉得这事背后没那么复杂,可能并不是什么恶意行为。因为大部分人的18万条普通文本消息,对AI企业来说意味着巨大的算力消耗。
但这件事真正暴露的问题,是用户以为自己授权了什么,和系统实际上获得了什么权限,中间可能存在巨大的认知差。
说了这么多,相信你也能明确感知到,个人AI助手要真正进入一个人的生活,光有模型能力是远远不够的。它得过两道门槛:
第一道,是平台愿不愿意把门打开。你的数据在微信、在淘宝、在美团,这些平台愿不愿意让一个外部AI进来替用户办事?亚马逊已经用行动回答了这个问题。
第二道,是用户敢不敢把钥匙交出去。就算平台开了门,你真的放心让一个AI翻你的聊天记录、替你付款、替你做决定吗?这需要很强的品牌信任度才行。
美国现在的情况是,第一道门槛过了大半,邮箱、日历、网页这些基础设施天然开放。当然,咱们国内也不是没人在做。
阿里的千问已经在接淘宝、支付宝、飞猪、高德这些服务了。但它之所以能接,恰恰是因为这些服务本身就是阿里自己的。
可出了阿里的围墙呢?比如微信里的数据、美团里的订单、抖音里的行为数据,一个阿里的AI想要稳定调用,就必须得到对方平台的配合。
说到这里,我自己其实一直在想这个问题。办公AI和个人AI,在我看来是两条完全不同的路。
办公场景相对好办,企业有IT部门,可以统一授权、统一接入,两道门槛都有人帮你处理。
但个人场景不一样,你的生活散落在几十个APP里,没有一个中央管理员,每一道门槛都得你自己去面对。
这也是为什么我觉得,个人AI助手这个方向,虽然难,但特别值得做:因为它解决的不是「工作效率」的问题,而是「生活里那些你一直拖着没处理的琐事」的问题。
这两件事听起来差不多,其实差别很大。
当然,作为得到和得到大脑的产品经理,我自己也在想,怎么在这条路上往前走一步。10月中旬我会有一些新的东西来跟大家聊,到时候再细说。
原创 欢迎关注的 2026-09-30 12:00 上海
国庆福利来啦!多档好礼免费领,关注百度Geek说,后台回复【国庆活动】即可参与🎁
。
点击蓝字,关注我们
🇨🇳 国庆假期要到了!
假期除了出门玩、宅家休息,
也别忘了来百度Geek说领一份国庆福利🎁
这次准备了多档好礼,
免费参与,就有机会把心仪奖品带回家!
🏆 惊喜大奖
小度智能屏 X10-第二代1台 共1份
价值约800元
🎉 特等奖
小度智能音箱-大金刚1个 共2份
⌨️ 一等奖
度熊键鼠套装-度熊形象系列1套 共4份
💳 二等奖
京东卡100元1张 共3份
💳 三等奖
京东卡50元1张 共5份
💳 四等奖
京东卡20元1张 共5份
从智能好物到实用京东卡,
总有一份适合你的国庆惊喜✨
参与方式:
关注百度Geek说微信公众号
后台回复“国庆活动”即可参与
阿真Irene 2026-09-30 11:08 广东
前两天尝试了 Opus 5.5 代码生成视频,确实厉害,这个视频是它直出的,我给的要求很简单(提示词放评论区了),它优化了提示词生成了视频。实在受不了它自己嘎吱嘎吱那个电子音,我让它直接登录我 Suno 账号整点纯音乐,也做得很好。这个玩法真的很多啊,等节后分享我的一些代码做视频的小窍门。
要放假了完全不想努力啊虽然其实好像还挺多要分享的但是就是不想动啊啊。准备出发去俄罗斯了,不知道大家有没有养过旅行青蛙,我做了个旅行阿真,10月上旬好奇阿真人到哪里了的朋友,就可以打开这个网站看一下。
https://azhentrip.top/
当然,想我了也可以直说哎嘿。
原创 深度求索 2026-09-30 10:01 北京
DeepSeek 正式开源面向华为昇腾算力平台的基础设施组件。
今天,我们正式开源面向华为昇腾算力平台的基础设施组件,涵盖 TileLang 高级语言编译工具、计算库、分布式通信库。所有组件与此前面向英伟达平台的开源组件一一对应。
工欲善其事,必先利其器。建立新一代自主可控的 GPU 软件生态,首要的事情是先建立一个通用的、编程简单的、同时能达到硬件性能上限的高级语言。TileLang 在这样的历史背景下诞生。一方面,相对于英伟达的 CUDA 语言,TileLang 的编程更简单,能显著提高开发效率、简化代码逻辑。另一方面,相对于其它同类高级语言,TileLang 的编程模型可以充分发挥芯片的特性,达到硬件的性能上限。TileLang 路线首先在英伟达成熟平台上得到了验证,如今已承载了 DeepSeek V4 系列模型训练中大部分算子的实现,是我们探索 AGI 新范式、开发高性能算子的核心工具。
本次开源的 TileLang 昇腾版本,对昇腾 Ascend C 底层指令进行封装、提供高级语言的编程方式、同时不损失硬件性能。这正是 TileLang 的设计初衷。目前,DeepSeek 训练中用到的每一个 TileLang 算子,在昇腾上都有对应的高性能实现。 TileLang 昇腾版本作为一个开源工作,希望能对更多 AI 芯片建立高可用软件生态起到示范作用。
本次开源还包括昇腾平台核心计算与通信组件,为不同使用场景提供可复用的基础能力:DeepGEMM 加速通用矩阵运算;DeepEP 提供高效的大规模跨设备通信;TileKernels 提供数据处理所需的常规向量计算和访存算子;FlashMLA 提供稀疏注意力算子,提升长上下文处理效率;DeepSelect 则实现了高效的数据筛选。在多项关键测试用例中,上述组件的计算与通信性能已接近硬件上限。
在面向昇腾平台的研发过程中,华为团队给予了毫无保留的大力支持。双方紧密合作,共同推进基于昇腾 950 的 128 卡超节点方案、共同对计算与通信进行了深度优化。我们将持续推进技术创新,与社区共同建设开放的软件生态、共同进步。
————
附开源项目链接:
TileLang:
https://github.com/tile-ai/tilelang
DeepGEMM Ascend:
https://github.com/deepseek-ai/DeepGEMM-Ascend
DeepEP Ascend:
https://github.com/deepseek-ai/DeepEP-Ascend
TileKernels:
https://github.com/deepseek-ai/TileKernels
FlashMLA:
https://github.com/deepseek-ai/FlashMLA
DeepSelect:
https://github.com/deepseek-ai/DeepSelect
随机小助手 2026-09-29 19:59 美国
首次揭秘:23岁,第一次创业,跟所有大厂争入口!
Linkloud 引言
硅谷最火的 AI 助理初创公司 Instinct 创始人 Noah Shinn 今年只有 23 岁,2023 年从 Northeastern University 退学;此前,他是 AI Agent 经典论文《Reflexion》的第一作者,也是 Bret Taylor 创办的 AI 客服公司 Sierra 的早期研究员。
本期播客是 Noah 第一次在长篇访谈里公开谈自己的公司。就在节目录制前一天,Instinct 刚完成 10 亿美元 C 轮融资,由 Sequoia Capital、Benchmark 和 Coatue 联合出资,估值也从一个月前的 25 亿美元,直接跳到 100 亿美元,不可思议!
这场对话从 Instinct 如何在零营销的情况下,把交易额做到接近 10 亿美元讲起,还有聊了几个关键问题:为什么它选择短信、语音等熟悉的入口,放弃另做一个新 App?为什么信任会成为个人 AI 真正的护城河?当做任何事的摩擦趋近于 0,旅行、餐饮和出行行业的生意入口又会怎么变?Enjoy!
Instinct 的增长故事很适合用“病毒式传播”概括,却不能只停留在这个词上。
它从 200 名亲友用户开始,每个人只有 5 个邀请码。最初每天只增加约 5 人,增长率一路升到接近每天 10%。产品至今没有花钱做营销,用户却会主动在社交平台分享用例,向创始人索要邀请码,或者炫耀自己还剩几个名额。
甚至有人把邀请码放到 eBay 上出售,价格一度达到 300 美元。
“每天,大约有 10% 的用户会决定把自己 5 个珍贵邀请码中的一个交给别人。”
邀请制制造了稀缺性,但解释不了用户为什么愿意消耗名额。真正的推动力来自产品体验本身:用户第一次感受到,AI 可以接手一件事情,替自己跨过多个网站、多个步骤,最后把结果交回来。
这也是 Instinct 和普通 AI ChatBot 的区别。用户来找它,是要把一个现实目标交出去,得到真实结果。目标完成得越可靠,下一次交代的事情就会越复杂。
按 Noah 在播客中的披露,Instinct 仍然是邀请制产品,但平台年化交易额已接近 10 亿美元,其中约一半来自旅行。虽说 10% 的日增长和交易额并非严格统计的结果,但它们足以说明:个人 AI 助理正在从概念竞争进入真实使用竞争。
Instinct 的产品逻辑很简单:用户不需要学习一套新的软件操作方式。
它有手机、电脑和自己的邮箱,你可以给它发短信、打电话,也可以让它主动来电。Noah 举过一个例子:如果你下午 3 点前必须签一份文件,而现在已经是 2 点 55 分,Instinct 会打电话提醒你,告诉你文件在收件箱里,甚至可以再发一封邮件把它推到最上面。
复杂的工作发生在后台,用户只看到一个熟悉的入口。
“我们不应该把注意力放在能力上,只应该关注可理解性。”
这句话解释了 Instinct 为什么把“产品感觉”放在功能清单之前。团队会观察用户如何阅读消息,重要信息是否出现在前 30% 的位置,文字是不是让人需要滚动很久,任务结果是不是足够容易预测。
模型能力决定产品上限,用户能否理解它正在做什么,决定了用户是否愿意继续使用。
Instinct 的用例跨度很大。有人扫描自己的衣柜和身体比例,让它规划一周穿搭,再从网上找出对应的衣服并直接下单。有人连接银行账户,让它识别长期不用的订阅,进入网站、完成登录和确认流程,最后回报本月省下了多少钱。还有人让它找回美国网球公开赛现场大屏幕上的视频。
这些案例的共同点,在于用户只需要表达想要的结果,Agent 负责把中间步骤补齐,AI 的多任务能力由此变成了可感知的行动。
(用户通过 WhatsApp 让 Instinct 制定旅行预算和行程,并在发现航班组合问题后要求它重新规划。)
个人 AI 助理最关键的数据,体现在用户愿意交出多少真实生活的控制权。
Instinct 观察到,用户通常需要几周时间才会逐步建立信任。使用约三周后,约 40% 的用户已经愿意绑定信用卡;在至少向 Instinct 连接一项敏感信息、并真正建立信任的用户中,留存率甚至能达到 80%。这种信任一旦建立,就会自我强化,滚成一套产品飞轮。
(Instinct 使用用户授权的信用卡完成酒店预订,并同步创建日历事项。)
用户提供的数据越多,AI 助理越能理解他的偏好,主动完成的事情也越多;而 AI 助理越可靠,用户也越愿意继续授权。信任因此同时决定功能上限和留存质量。
“用户应该始终掌控自己的数据。”
Instinct 设计了一个“可信任的人网络(Trusted network)”。配偶可以分享更多信息,同事只获得工作日历和特定收件箱内容。每段关系都有不同的访问范围,连接本身不等于获得全部权限。
这套设计把现实社会里的信任规则搬进了软件。AI 助理需要理解的,除了“允许”或“拒绝”,还有谁可以在什么时间、以什么理由访问哪一部分信息。
安全架构也必须跟上。Instinct 会用防火墙拦截可能诱导 AI 助理执行恶意操作的文本和媒体,并用与 AI 助理分离的监控系统,在工具调用前暂停、审核和拒绝。早期版本也出现过防护不足的问题,于是团队后来重做了系统。
信任还决定了商业模式。
如果一个免费 Agent 主要靠广告赚钱,很可能会为了广告主,主动向用户推荐并不真正需要的东西。Noah 更希望 Instinct 采用类似 Apple Pay 或支付网络的模式:用户免费使用,商家在交易完成后向 Instinct 支付服务费。这样,Instinct 的收入来自促成真实交易,而不是占用用户注意力或诱导消费。
这条路线的前提,是 AI 助理的利益和用户目标保持一致。AI 助理越聪明,越不能轻易被一套激励牵着走。
(用户分享测试 Instinct 的过程:当 AI agent 开始调用支付卡处理真实购买时,他直言自己“紧张得冒汗”。)
旅行是最能体现 个人 AI 助理价值的场景。
用户只需要说:“我今晚要到纽约。”Instinct 可以结合当前位置、常用航司、座位偏好、餐食、支付方式和过去住过的酒店,完成航班、酒店、机场接送和日程安排。用户不需要打开旅行网站逐项填写,也不用记住每次预订时的偏好。
餐厅预订也会发生变化。生日、纪念日或朋友远道而来,Agent 可以把这些背景传递给餐厅,让稀缺座位匹配到更重要的场景。
“我们正在把做任何事情的摩擦降到接近 0。”
这样很可能会改变互联网的分发逻辑。平台过去依赖停留时长、点击和广告,AI 助理却能把用户注意力从交易过程中抽离出来,App 内停留减少,真实交易反而可能增加。
Noah 认为,数字业务大致有两种价值来源:一种赚用户注意力,靠停留时长、点击和广告变现;另一种赚真实交易,靠完成更多订单获得收入。
AI 个人助理让用户少逛 App,前一种平台可能因此承压;旅行、餐饮、出行和外卖等交易型服务,则可能因为下单更省事,获得更多订单。
这也是传统公司需要提前准备的变化。未来,用户可能不再打开 App,而是让个人 AI 助理替自己完成搜索、比较和下单。公司首先要判断,自己的收入究竟来自用户停留,还是来自真实交易:前者需要重新思考用户关系和商业模式,后者则可以把 Agent 当作新的分发入口,先在少量用户和具体场景中测试合作,再根据交易量、用户满意度和商品匹配效率决定是否扩大。
个人 AI 助理带来的变化,未必意味着平台会消失。更可能的情况是,平台从用户每天花时间浏览的目的地,变成 Agent 调用的底层服务。
Instinct 面对的最大约束,可能来自增长本身。
传统消费产品的扩张,主要意味着更多请求、更多数据库和更多带宽。个人 AI 助理还要承担持续发生的后台工作。它需要在用户起床前扫描信息,在用户即将迟到时安排车辆,在用户还没有提出问题时判断是否值得提醒。
用户增长和后台任务一起复合,算力需求可能每周翻倍。Noah 说,自己大约 40% 的时间都在思考算力采购,困扰的地方在于,算力资源的交付周期可能长达数月。买少了,服务会因为增长过快而失速;买多了,几个月后又可能承担数倍的闲置成本。
即使日增长从 10% 放缓到 5% 至 8%,连续复合三四个月也会带来巨大规模算力消耗。主动式 Agent 消耗的 Token 远多于一次问答产品。
Instinct 的做法,是按任务的紧急程度分配算力:用户正在对话的请求优先快速响应,日历、邮件等后台扫描则可以延后几分钟甚至几小时处理。这样,团队就能对不同任务采用不同的模型和部署方式,再配合批处理,减少不必要的高性能计算,在保持接近前沿模型效果的同时压低服务成本。
这件事的难度在于,Agent 越主动,越需要更多计算;用户越信任它,交给它的目标越复杂。产品体验和基础设施不会沿着两条平行线发展,它们会彼此推高。
Instinct 的终局想象,远不止“帮我订一张机票”。
短期内,交互会从短信走向语音按钮、耳机和实时语音。用户走路时可以让它整理新闻、清理日历、回复邮件。部分用户有超过 90% 的交互通过语音完成,这说明自然语言正在成为更顺手的操作入口。
中期,Agent 会即时生成旅行行程、婚礼计划或完整网页。过去,新界面需要团队开发、发布,再等待反馈。未来,Agent 可以按目标即时生成界面,用完即走。
长期,用户交代的事情会从一连串单独任务升级为持续数月的目标。比如减重、提升跑步成绩、存下一笔钱,或者让小企业库存始终维持在某个范围。用户只需要给出约束和结果,Agent 自己选择工具与步骤。
“我认为,所有软件最终都会坍缩成一个非常容易使用的界面。”
能力会随着界面简化继续扩大。界面越简单,后台承担的工作越多。软件从固定应用变成按目标生成的服务层,用户面对的是一个入口,背后连接的是越来越多的工具、数据和商业服务。
真正决定这条路能否成立的,仍然是信任。Agent 需要知道什么时候该行动,什么时候该等待,什么时候必须请求确认。它还需要把错误挡在用户受到影响之前。
Instinct 这个名字,指向一种可靠的协作关系。它懂场合、记得偏好,也愿意站在用户一边。
个人 AI 助理的下一场竞争,可能不会先发生在模型排行榜上。它会发生在一个更难测量的地方:用户什么时候愿意把下一件重要的事情交出去。
如果你想继续了解这波个人 AI 助理浪潮,可以延伸阅读我们写过的 Town 如何用 15% 付费率证明需求、Poke 如何靠打造千万播放的营销视频,以及 Cola、Photon 创始人参与的 AI 个人助理专题对谈。
更多完整内容,请点击阅读原文。
往期回顾
付费率15%,a16z投资的Town,再度掀起AI助理大战!
2026-09-15
Cloudflare:AI流量首超人类!如何面对没有搜索推荐的互联网?
2026-09-07
Sam Altman首次承认人类接受AI比想象慢,我们需要iPhone时刻!
2026-09-01
精选小助手 2026-09-29 19:59 美国
以下文章来源于:Linkloud精选
Linkloud精选欢迎来到Linkloud社区,所有活动实录和精彩内容都在这里!
2023 年 6 月,Shawn "swyx" Wang 在他的播客 Latent Space 上发表了一篇文章,标题叫《The Rise of the AI Engineer》。核心论断只有一句话:
LLM 的出现,催生了一种全新的 AI 工程师角色——不需要从零训练模型,但能用 API 等工具把 AI 能力真正落地成产品。
文章发布后 24 小时内,第一届 AI Engineer Summit 收到超过 1,000 份预报名,最终以 10:1 的申请比例售罄。连 Andrej Karpathy 都公开表示认同。
这就是 AI Engineer 的起点。
在这篇文章之前,swyx 已经用播客 Latent Space 在 AI 工程师社区建立了无可替代的话语权。Greg Brockman、Andrej Karpathy、George Hotz、PyTorch 作者 Soumith Chintala 等等这些定义了整个 AI 时代的人,都曾坐在 Latent Space 的麦克风前。
2025 年,Latent Space 全年读者与听众超过 1,000 万,是全球 AI 工程师社区公认的最高信噪比内容来源之一。
此后三年,AI Engineer 以惊人的速度成长。2024 年,旗舰活动 World's Fair 首届在旧金山举办,吸引超过 3,000 名参会者。2026 年 6 月,29 条并行议题轨道、300 位演讲者、100 家展商,最终到场超过 6,000 人。
核心规则只有一条:只讲真正在生产环境里跑的东西,不讲概念。历届演讲者几乎是 AI 工程领域的权力榜单——Greg Brockman、Andrej Karpathy、LangChain CEO Harrison Chase、Docker 创始人 Solomon Hykes、Conviction 创始人 Sarah Guo……
所有顶级演讲视频全部免费公开,目前已覆盖超过100 万名 AI 工程师、创业者和技术负责人。
三年,从一篇文章到四大洲的旗舰大会,从 500 人到 6,000 人,从旧金山到纽约、伦敦、新加坡、墨尔本。AI Engineer 已经成为全球 AI 工程师社区最核心的年度坐标。
而这一次,Swyx 和他们即将来到上海!
2026 年 11 月 5-6 日,AI Engineer 首次踏上中国。Linkloud 作为联合主办方深度参与其中,与全球团队共同将这场盛会带到中国 AI 创新最活跃的城市之一。
首批确认嘉宾
Shawn (Swyx) Wang — AIE 创始人 / Latent Space 创始人
Christoph Lassner — World Labs 联合创始人
Yibo Zhu — StepFun 首席技术官
Vincent Koc — OpenClaw 基金会首席架构师
Faye Zhang — Google Gemini 资深工程师
Ryo Lu — Cursor 首位设计师
Bin Liu — HeyGen 工程副总裁
Andrew Qu — Vercel CTO
Nancy Wang — 1Password CTO
Chen Peng — Arena 数据负责人
Gavin Luo — VAST 战略负责人
Ivan Burazin — Daytona 创始人兼 CEO
名单持续更新中🔥!
全球最高信噪比的 AI 工程师社区,与中国本土最活跃的创新力量,在这里第一次真正相遇!
报名方式
📅 时间:2026 年 11 月 5 日 – 6 日
📍 地点:上海虹桥祥源希尔顿酒店
🔗 详情介绍:https://ai.engineer/shanghai/2026
🎫 购票:扫描下方海报二维码或点击阅读全文报名!
11 月,我们与他们,上海见 🌊!
THE END
原创 AI产品黄叔 2026-09-29 18:00 北京
AI这么几年下来,我一直寻求一个很懂我的小助理,这件事情一直到今年才成为可能,龙虾爆火之后,我也一直在观察大家的Agent使用。。。
AI这么几年下来,我一直寻求一个很懂我的小助理,这件事情一直到今年才成为可能,龙虾爆火之后,我也一直在观察大家的使用,发现从排队安装到闲鱼卸载,大家还是没有养成使用的习惯。
ㅤ
包括今天,即使我仍然安装着Hermes Agent并接入微信,还是被它缓慢的响应所头疼。你想,谁家的小助理给你干活的时候慢慢悠悠的回你一句?
ㅤ
我理解中的Personal AI,在我选择的授权范围里,能够充分的理解我的上下文,能帮我管理日程/精力,知道我关心什么,最终能帮我推进生活和工作!
ㅤ
它的定位不是酷炫吊炸天,那不是真实的,只是炫技,也有Astra/Opus 5.5这些模型去接管,但成本也巨高,普通人用不起,Personal AI必须是和大家非常近,成本不高,能懂事会来事的那种,让我很放心的把记忆交给它。
ㅤ
我觉得国内出现第一个这样的Personal AI产品,是Today。
ㅤ
作为一个重度需求者,黄叔使用了接近一个月后,从三个角度来给大家分享下体验和思考:
ㅤ
ㅤ
聊了非常多,我直接让它输出一下,到底记住了什么。
ㅤ
问题:仔细说说,你眼中的我,好的可以夸夸,坏的一定要指出!
可以看到非常详细的对黄叔做了总结,
比如前几天去苏州Inter做评委,也深度的学习了一下目前的端侧算力/模型进展的趋势,和Today也交流了一下,所以它说:
“在苏州评委现场,你观察到"小模型智力在涨、高价值Token开始有专门模型"”
ㅤ
我也很开心的是,它能从多次交流里提取一些重要信息,比如
“从好几次对话里慢慢浮出来的。这种东西是真的。”
ㅤ
当然,问题更有价值,我很需要这种洞察来帮助自己提高:
“精力管理是真实的短板。”
这个确实是,OPC最怕这个,我的“深度时段”很窄,确实是影响我做深度内容的最大卡点!!!啊啊啊!!!或许我一直都在逃避这个点,感谢Today帮我梳理出来。
ㅤ
还有就是“你有时候想得很清楚,但落地的动作很慢。”
ㅤ
所以给我的反馈总结很清晰,虽然很扎心:
“但你的执行节奏和你的想法之间有一个持续存在的摩擦。这个摩擦不解决,你的天花板会比你应该有的低。”
ㅤ
找到问题的关键,很谢谢,这一个月能收获到自己的弱点,已经值回这一个月时间的投入了!
ㅤ
接着,我还问了下最近一个月我们都聊了啥:
ㅤ
可以看到,它可以很清晰的梳理出来很多细节,并没有忘记我是谁。
ㅤ
并且在电脑端,Today的双屏结构,右侧可以很清晰的看到各种关键信息,比如繁忙的10月,这些只要之前聊过,Today就会帮我记住,以及,大家还可以让它帮忙加入到了苹果的日历里面:
ㅤ
当然,不光是记住,我还希望不用我开口,就知道我要什么:
ㅤ
ㅤ
黄叔是一个喜欢开很多线程同时干活的人,深受这一点的困扰,Today帮我大幅缓解了这种痛苦,因为它可以知道我想要什么:
ㅤ
比如每天会发的“晨间简报/晚间简报”,解决了我之前痛苦的,需要自己从头开始梳理整理的卡点,就因为需要自己从0开始,这件事经常坚持了一段时间后放弃了,那会我就在想,要是有一个AI能每天帮我干这件事可太好了,你看,现在Today就做的很好,我放了两天的大家看看:
ㅤ
每张卡片下面有一个按钮,点击后会开始和Today再详细的讨论梳理下,这是一个开始,不是结束,我们依然可以按照我们的思路去整理,但有了一根引线,大幅降低了启动门槛,太好了。
ㅤ
另外,昨天去打了疫苗,因为之前提过一嘴,它会时不时的提醒我:
ㅤ
包括和它说了10月中旬的行程后,它知道我还没买从深圳到南宁的火车票,也督促我今天去买南宁到北京的飞机票:
ㅤ
其实不需要我开口,Today已经替我想到了,当然,更深一层,是它越来越懂我了:
ㅤ
ㅤ
今早我还在和Today聊Today,没错,写这篇文章自然也要和它聊聊啦,我们聊到记忆维度的价值,结果它提了一点我愣了,我的精力管理很有问题:
ㅤ
也是这里它突然提到了精力,所以前面第一章节的时候,我才会更仔细的观察到了精力的问题,感谢!
ㅤ
这个我之前真的没有太多意识,只是隐隐约约觉得很有问题,所以我也做了一些动作,比如工作期间不开微信(这个真的很难管住,刚才又打开微信在社群里唠了好久-,-)
ㅤ
所以被Today发现后,它很积极的为我做了一个落地的计划:
ㅤ
更有意思的是,我打开看了眼晚报,发现它已经在开始履行职责,提醒我早点放下手机了,虽然它确实不能阻止我,但这种适度的提醒已经非常有价值了:
围绕着之前的落地计划,每次我和它讨论一些突如其来的灵感和任务,它都会适当的告诉我,马上到适当的时段,该做对应的事情了:
ㅤ
我再说说一个交流,相信你会更加理解这一点。
ㅤ
我直接问Today,“根据我们聊的这一个月,说说有哪些是我忽略了但很重要的事”:
ㅤ
这个第五点,我很在意,也很重要,如果我的无限游戏确定了,那我日常的时间,有没有更多的投入在上面呢?
ㅤ
于是我又问如果它是我,会如何决策,我觉得它给的建议很棒,但更棒的是,我问为何它会这么决策,这个回答是我觉得真的非常懂我的:
ㅤ
它知道我是INFP/看到了我的模式/知道我现在的处境,在这种种情况下,给的建议不是大刀阔斧的,既给了我足够的安全边际,没有让我把“广告砍掉”,而是“给无限游戏划一个最小资源保障”。
ㅤ
妈呀,想哭了。。。😭,只有中年男人知道,但你遇到一个懂你的人,有多么的走心。
ㅤ
因为这两天也正在和它总结Personal AI和普通AI的区别,所以它最后也来了个总结:
ㅤ
“它不是给所有人同一个答案,它给的是只适合你的那个答案。”
ㅤ
ㅤ
其实Today也有很多连接器,也可以替我们执行很多的工作,但老实说,我还没那么需要。
ㅤ
或者说,我需要的是,我理解的Personal AI,是一个能记住我是谁,在我开口前就能替我想到,也一天比一天更懂我的,随时随地陪伴我的AI。
ㅤ
它不需要智力超群,不需要能做很多事,只需要在我想记录/思考/决策的时候,能站在我的角度,给我最适合的回应。
ㅤ
用了那么多AI,Today我很喜欢。我也一直给它们的同学提一个产品建议:我想给它打电话!
优设 2026-09-28 12:30 湖北
🧩 这次整理了10个实用的“去AI味”Skill,覆盖提示词优化、AI痕迹检测、文本改写和文风塑造。
✍️ 机械句式、翻译腔、套话废话,基本都能找到对应工具。公众号、小红书、口播稿和长文章都能按问题直接选。
🔍 想获取这些Skill,打开GitHub,在顶部搜索栏输入对应的Skill名字搜索即可。
⭐ 如果你也觉得AI写出来“意思没错,就是不像人说的”,这套可以先收藏,写作时直接对着用。
原创 曾经的毛毛 2026-09-28 08:30 江苏
详解 Agent 系统中 JEV 模型的典型应用。
点击上方蓝字关注我们
首先祝各位爱好学习的朋友,中秋国庆双节快乐!
上篇我们认识了 JEV:一个专注于快速判断与决策的“协处理”模型 —
给它当前状态;再问“选哪个”“程度多少”“是不是”;它返回结果和概率。
它精准的针对当前 Agent 系统中普遍存在的“大炮打蚊子”的问题 — 用复杂的推理来完成大量需要高速甚至实时的判断。
因此,把“JEV 们”放入 Agent,比较合适的位置就是这类决策环节:要不要继续任务、点哪个控件、工具是否安全等;并和 LLM 、确定性程序实现分工合作:
本篇对 Agent 系统中 JEV (包括其他类似模型)的典型应用场景做拆解。
常见的 ReAct Agent 是一种推理与行动交替进行、自主完成任务的系统。其核心的 Agent Loop 会不断的做出类似的判断与决策:
目标任务是否已经完成?
我是否应该重试刚才的工具调用?
我是否需要进入HITL的环节,把控制交给人类?
下一步应该调用哪个工具?
这些都是代表性的 Choice 或者 Noul 类型的问题。
通常,这些决定都交给擅长推理的 LLM,很多调用只是在有限”菜单“里选一项。
现在,这正是 JEV 可以尝试的地方:
Agent 保存任务目标、每轮输出和更新状态;JEV 负责从当前可选动作(如结束任务、询问用户、调用某个工具等)中判断下一步动作:
当然, JEV 的答案只是动作建议,完成与否仍然由程序验证;循环上限也由 Agent 代码控制;而遇到要分析复杂状态、生成解决方案的情况,仍需要 LLM。
你可以用一个简单的自定义 Agent Loop 来验证可行性:
给 Agent 设定一个任务,以及一些可用的工具,然后让 Agent 根据当前状态(包括目标、 配置、历史消息等)、候选工具来判断下一步动作,直到完成。模拟如下:
def agent_run(client):
...
try:
for_in range(8):
state = env.observe()
action = client.choose(state, env.instructions, env.criteria)
env.step(action)
if env.done:
...在这里, “choose”的动作就是交给 JEV 模型来完成的判断。
实际测试中,如果发现在延时上并没有体现出 JEV 的优势,很可能是网络延迟导致;解决方法是使用本地的开源平替,比如 Laya。
在这个场景中,JEV 的主要价值是:用毫秒级的决策模型来让 Agent Loop 控制成本更低,速度更快;也因此可以引入更多的检查环节。
Web/GUI Agent 已经成为 AI 应用的重要形态。但常见的问题是:消耗资源且延时较大,特别是使用视觉模型辅助的这类 Agent。
这类 Agent 的传统做法都是让 LLM 反复读取页面(DOM 或者截图)、生成下一步操作,长页面和多步任务会不断消耗时间与上下文。
那么,是否可以这样改进:
把当前页面能做的 UI 操作先整理成一个“菜单”(Choices),用 JEV 这类高速决策模型来回答“操作哪个元素、做什么动作”,以指导 Agent 下一步的动作。
著名的开源项目 Browser Use 已经提供了这样一个开发库:jev-ultrafast。让你可以借助 JEV 来使用 Browser Use 框架实现 Web Agent:
from jev_ultrafast import Agent
with Agent(
"...web agent 任务“
) as agent:
for state in agent.run():
print(state["elapsed_ms"], state["status"])小编用 jev-ultrafast 做了一个简单演示,完成一个酒店搜索的任务:
GOAL = ("Search for hotels in Hangzhou. Set the nightly budget filter to CNY 500 or less "
"and enable the breakfast-included-only filter, then apply the filters. "
"Open the matching hotel's details and verify that its city is Hangzhou, "
"its nightly price is at most CNY 500, and breakfast is included. "
"Stop on that details page. Do not make any booking.")这里使用 jev-ultrafast 的 Agent 等相关 API 来完成任务,对其每一步的选择(choose)进行了跟踪,并输出最后的停留页面:
当然,这种方案目前并不完美:
遇到未暴露为可选元素的控件、需复杂视觉识别的场景或开放文本等,仍需要浏览器能力和多模态的 LLM 配合。不过这也让我们更加期待多模态的“JEV”们的出现。
工具(Tool)和技能(Skill)体系是 Agent Harness 最重要的组成之一。
传统 Agent 把每个工具的描述和技能都塞进模型上下文,然后让模型判断并生成工具调用;工具目录越大,描述越长,相近工具越容易混淆,且 Token 消耗越大。
借助 JEV 这样的决策模型,Agent 可以:
把“需要哪些工具”变成一个 Choice 问题:基于“分层路由”(Hierarchical routing)的模式,实现像医院分诊一样的工具选择路径 — 尤其当工具集稳定、用途清晰时。
先选医院(工具大类),再选科室(激活工具集),再找医生(本轮工具)。
这对于平台级的 Agent 来说(工具目录经常动态变化),可以让模型看到一个更小、更相关的工具范围,减少干扰,提高推理准确性。比如:
第一层让 JEV 从“公共、财务、编程、检索、管理”等类别做选择。选中“财务”后,程序再加载这个分支;让第二个 Choice 从“查询余额、开发票、退款、对账”中再选一个。
当然,在具体实现时,需要做更精细化的控制和评估:
结合confidence(置信度):拿不准就保留多个候选继续比较,或让用户澄清;每层也要有“不匹配”的出口,避免第一步选错就一路错到底。
分层能缩小选择范围,但代价是增加误选或遗漏;使用决策模型后是否真的更快、更准,需要在上线前做批量评估。
JEV 的 Choice 单题最多支持 255 个选项,并非有几十个工具就必须分层。
随着各种通用 Agent 的盛行,给这些 Agent 的工具执行设置安全“门禁”至关重要。常见的方法有:
给工具设置安全级别:严重的要求人工审核,但容易被“忽视“
关键词拦截:根据工具、参数等识别关键词,但容易“误伤”
交给 LLM 判断:频繁审查增加延迟和成本,而且同一模型审查意义不大
更稳妥的架构,是在工具执行之前设一道语义守卫:
根据本次调用和对话状态判断工具风险,据此放行或拦截;当风险不确定或后果严重时,也可以转入人工环节。
这个工作就很适合 JEV 这样的快速模型。比如提出 Noul 类型且有明确标准的问题:“是否包含提示注入?”、“是否泄露敏感信息?”、“输出是否违反约定?”等,然后返回概率,再由程序决定放行、拦截或交人类复核:
LangChain 已经把这个模式用中间件(一种类似钩子的机制)进行了封装:AutoModeMiddleware。它在工具执行前调用 JEV,风险达到阈值就返回拦截消息:
guard = AutoModeMiddleware(tools=tools)
agent = create_agent(planner, tools=tools, middleware=[guard])
result = agent.invoke({"messages": [HumanMessage(content=task)]})你也可以自定义一个工具门禁:实现一个 Middleware,然后在 wrap_tool_call 中借助 JEV/Laya 做判断处理。比如:
class LLMAutoMode(AgentMiddleware):
......
defwrap_tool_call(self, request, handler):
answer = self.judge.invoke(...);
if answer.risk_estimate >= 0.5:
return ToolMessage(
content=(f"The tool call `{request.tool_call['name']}` was blocked because "
f"it was classified as risky (LLM estimate: {answer.risk_estimate:.2f}). "
"The tool was not executed."),
tool_call_id=request.tool_call["id"], name=request.tool_call["name"], status="error")
return handler(request)在这里,借助决策模型的优势是 —
你可以在一次任务中做很多这样细小的风险检查,而不用担心延迟与成本。
但正如我们之前强调的,JEV 们宣传的“无幻觉”不代表不会决策错误,所以结合使用其他的一些风控机制,仍然是必要的。
当 Agent 报告任务已经完成,大部分时候我们会选择“信任”它 — 再通过人工审查、代码测试等方法来评估其完成度。
还有一个常见做法是请另一个 LLM 当“评委”:
读取 Agent 的执行轨迹,并给出评估结果。不过这种评估大多缓慢且结果非结构化。
现在,借助 JEV 这类模型可以把评估拆分成更具体的问题:
用 Noul 检查任务是否完成、是否违规、是否需要人工复核;用 Score 评估任务完整程度、问题紧急程度;用 Choice 告诉你是完成、重试、放弃还是人工复核。
这种方案可以很好的用于监控 Agent 任务完成情况与质量,并指导后续改进。
比如,分析客服 Agent 中的详细跟踪日志 — 如果你对每天成千上万次 Agent 的运行生成这样的分析结果,就可以用来监控服务质量、做A/B对比、失败分析、甚至做自己的训练样本筛选。
考虑到 JEV 这类模型的性能与成本,你可以让这种评估真正的融入到 Agent 的日常监控与观测,而无需担心 Token 爆表。
在 Agent 任务中,让 LLM 写一封邮件,与在多约束条件下进行一次规划,需要的能力并不相同。但大部分时候(特别是单 Agent 系统),我们会倾向于使用统一的模型。问题是,如果全用强模型则造成浪费;而全用小模型,则任务质量下降甚至返工。
一种方法是让 LLM 先做模型分流,但这个动作本身又是开销。
而 JEV 就更适合回答这种边界清楚的路由题:
给定请求、候选模型以及判断标准(各模型擅长的任务),让 JEV 帮你选择合适的处理者,给出建议与概率。
你还可以结合任务难度、风险与不确定性等制定分流标准。
当然,如果把候选从 LLM 换成“研究、编程、数据分析”等专业 Agent,同样可以用于 Agent 任务的分派与交接(意图识别)。
在具体的实现中,结合 Confidence 置信度进行一些保护也是必要的,而不是简单的选取概率最高者 — 路由错误导致的返工或质量的代价,要远大于一次路由的代价。
LangChain 官方也实现了这样一个 Middleware:ModelRouterMiddleware,可以很方便的让 Agent 具有根据复杂度选择合适模型的能力:
router = ModelRouterMiddleware(choices={
"fast": ModelChoice(model=fast, criteria="单笔查询"),
"powerful": ModelChoice(model=powerful, criteria="多约束规划"),
}, instructions="选择能完成任务且成本最低的模型")
agent = create_agent(fast, tools=tools, middleware=[router])这里的 criteria 参数告诉路由器各模型适合的任务,也就是分流的判断标准。其目前的机制是:在一次 Agent Loop 运行开始时根据最新的用户消息选择模型,后续则复用。
RAG 管道的价值大部分时候并不取决于模型,而是数据或知识的质量,以及检索的相关性与完备性。而基于向量相似性的语义检索并不足以解决这个问题,这也是出现众多高级 RAG 方法(C-RAG,Self-RAG等)的根本原因。
一种常见的优化思路是用 LLM 对语义检索的结果进行相关性判断,并根据结果进行必要的知识筛选、补充(比如 Web 搜索),或 Query Rewrite。
现在你可以借助 JEV 等决策模型:
让它充当检索知识进入上下文前的“筛选员”,对知识相关度进行评估与过滤。
很显然,JEV 模型非常适合回答这类问题:
Noul:这段知识是否能够支持回答输入问题?
Score:这段知识与输入问题的相关程度如何?
Noul :这些知识是否足够回答用户的输入问题?
根据这些问题的答案,你可以选择废弃不相关知识,或补充更多知识:
大致的程序处理逻辑如下:
...
def rag(question, retrieve, llm_answer, client):
# jev判断是否相关
def judge(instructions, **state):
return client.system_one(
state=state,
questions={"ok": Noul(instructions=instructions)},
).nouls["ok"].noul
kept, seen = [], set()
for _ in range(3): # 最多三轮检索
for chunk in retrieve(question, exclude=seen):
seen.add(chunk.id)
if judge("片段包含回答问题所需的信息吗?",
question=question, chunk=chunk.text) > 0.5:
kept.append(chunk)
# jev判断知识是否足够
if kept and judge("这些知识足够回答问题的所有要点吗?",
question=question,
evidence=[c.text for c in kept]) > 0.8:
return llm_answer(question, kept)
return"资料仍不足,需要补充信息"所以,现在你可以构建一个两阶段的检索策略:
先做更宽泛的检索(比如 Top_k=10);然后借助决策模型做低成本的筛选;最后将选中的知识用来生成答案。
另外,你可以使用决策模型输出的概率来实现类似排序模型(Rerank)的能力:
这里的评分可以使用 Noul 输出的概率,也可以使用 Score 评分并结合置信度。
这套思路也能用于 Agent 的上下文管理。方法很简单:
让 JEV 判断旧的对话记录是否仍有用,再由程序来执行保留或废弃;而不是直接让 LLM 去做历史对话的摘要 — 容易带来上下文丢失。
GitHub 上有一个 Claude Code 插件fast-jev-compaction ,其通过评分来废弃无用的工具调用及结果,只保留重要内容,从而达到精简上下文的目的。
最后是一个收益最大的场景:实时决策。
在游戏、仿真、机器人等环境里的 AI 需要极其快速的反应(毫秒级):下一步应该怎么做?因为每走完一步,下一步的“路”可能就变了。
如果让 LLM 每轮从头推理,则性能无法满足要求(想象下,游戏里的 NPC 每次要思考 5 秒才有反应);而使用固定规则又不够智能。
现在你可以让 JEV 们和 LLM 们来配合:
LLM 负责长期的目标规划 。比如完成任务的主要步骤;JEV 负责在每一步骤中,根据环境状态做出可能需要的快速判断;
举一个例子:
一个仓库配送机器人要完成“把某个包裹送到打包台”。
LLM 可以拆解并规划出路径:确认包裹 → 前往货架 → 取件 → 运到打包台。
但是执行到一半,通道被货物挡住,此时则由 JEV 来根据当前环境、位置、可选动作来判断下一步怎么做。
这里的状态(State)可以来自游戏引擎、环境传感器或 API 接口等;而程序的执行通常由专用的控制系统负责。
不过由于当前的决策模型还不支持视觉理解,这也在很大程度限制了其应用;相信随着未来多模态能力的解锁,将带来这类快速反应系统能力上的突破。
以上是我们为大家拆解的 JEV (包括其他类似的开源模型)在 Agent 系统中的一些典型应用场景。
总结来说,JEV 很适合 Agent 里高频、高性能、答案有限的判断与决策。
更多应用层面的场景,如意图识别、邮件分类、工单分流、内容打标等,都能沿用这套思路 — LLM 做规划生成,JEV 做高速判断,程序则负责确定性执行;以减少不必要的 Token 开销,提高决策速度,并由此产生更多收益。
-- END --
感谢阅读,交流与合作请后台留言
喜欢就关注哦
动动小手点个赞
点在看最好看