铃阅时讯
❌

阅读视图

/mobile-use 在 AI IDE 中构建通鸿蒙、安卓与 iOS 的 Agent 闭环验证

Phodal 2026-09-11 16:00 浙江

Computer Use 已经可以操作电脑,Browser Use 可以进入正在使用的浏览器。Qoder 推出 Mobile Use 插件(Beta),在安卓、鸿蒙与 iOS 上将代码修改接入真机或模拟器,完成运行、交互与结果确认。

Computer Use 已经可以操作电脑,Browser Use 可以进入你正在使用的浏览器。移动端还没有对等的能力。

今天的 Coding Agent 已经可以修改安卓、鸿蒙与 iOS 代码,但往往止步于提交之前。移动端 app 是否成功构建,修改后的页面如何呈现,用户所指的是哪一个控件,点击之后是否进入正确页面,这些问题还需要解决。

因此,我们推出 Mobile Use 插件(Beta)。安卓、鸿蒙与 iOS 均可将代码修改接入应用运行,在设备上完成交互,并确认修改是否生效。

image.png
image.png

Mobile Use 面向正在开发中的手机应用

常见的 Mobile Agent 多用于“操作手机”,比如打开应用、填写表单、走完一段操作流程。Qoder 新上线的 Mobile Use 插件面向另一类场景:应用本身仍在开发与修改之中。

Agent 既要执行点击,也需要理解当前工程、构建目标、运行设备与界面状态。完成代码修改后,它重新运行应用,定位受影响的页面,执行必要交互,并以截图、日志、断言或测试结果证明本次修改有效。

点击与输入只是其中一步。需要完成的,是从代码变更到结果确认。

image.png
image.png

一次完整验证:从代码修改到结果确认

以一次界面修改为例。无论是布局、文案、点击反馈还是页面跳转,以往都需要自行完成构建、安装、在设备上操作,再对照代码。证据在设备上,代码在 IDE 中,中间依赖开发者在两端传递信息。若 Agent 只能依据文字描述和数秒前的截图,便容易改错位置。

现在可以将这项工作交给同一条会话中的 Agent。在 Canvas 上圈选出问题的区域,并在对话中发送:

我刚修改了界面上圈出来的这一处。请构建并运行应用,按圈选位置执行操作,截图确认结果是否符合预期。若不符,请对照代码修改,完成后再验证一次。

圈选给出的是具体控件和当前画面,Agent 可以同时使用截图、可访问性结构、控件文本和界面状态,而无须仅凭「这里不对」进行推断。它在同一台设备上执行操作、截取画面并对照结果:验证通过则返回结论;未通过则回到代码修改,并再次验证。

image.png
image.png

若结果不符合预期,可以在 Canvas 中直接看到它操作了哪一处、界面变成了什么样。下一轮仍使用同一台设备、同一条会话,无须重新描述现场。

image.png
image.png

三端接入方式不同,验证过程保持一致

安卓、鸿蒙与 iOS 的工程结构、构建工具、模拟器、测试框架和设备接口本就不同。Mobile Use 不会以一套最低能力将三端强行对齐。现有开发环境可以继续使用,不必另行准备仅供 Agent 使用的测试设备。

image.png
image.png

安卓仍然通过 Emulator、ADB 与 Instrumentation 工作。鸿蒙可以连接 DevEco Previewer、HDC 与 ArkXTest。iOS 则使用 Xcode Simulator、Accessibility 与 XCTest。平台差异由各自的适配器处理。

上层通过统一的 Skill 与 CLI,将这些能力提供给 Agent。需要对齐的是更上一层的开发过程:观察、操作与验证。

若某一平台或运行环境不具备某项能力,Mobile Use 会明确说明,而不会以一条不等价的命令冒充成功。

ADB、HDC 与 simctl 仍然是三条不同的命令。Agent 在三端进入的,是同一套观察、操作与验证流程。

image.png
image.png

开发者使用 Canvas,Agent 使用 CLI,共用同一台设备

开发者通过 Canvas 查看应用运行状态,在界面上观察、标注并检查结果。Agent 通过确定性的 CLI 查询设备、观察界面、执行操作并运行验证。

image.png
image.png

两侧接入 Host 管理的同一条设备会话。 Host 负责设备生命周期:当前连接、运行状态、权限范围,以及证据的归属。

因此,Agent 不会在后台另行启动一台模拟器,也不会因注册大量 MCP 工具(即为 Agent 注册工具接口)而形成一套与开发者割裂的设备环境。 CLI 只是智能体进入现有能力的入口。设备本身、权限、状态与证据,仍由统一运行时管理。

随后执行的操作作用于同一条设备会话。截图、日志、录像与断言结果也关联到该会话。「这里有问题」可以连同圈选与当前画面,成为 Agent 继续定位、修改与验证的任务入口。

立即体验

Mobile Use 插件已在 Qoder 桌面端与 Qoder IDE 中上新。

  1. 1. 打开左下角的拓展或插件市场,搜索 Mobile Use,安装后重启。

  2. 2. 在对应工程中双击以打开 Canvas:安卓双击 **AndroidManifest.xml**,iOS 双击 **Package.swift**,鸿蒙双击 **build-profile.json5**。

  3. 3. 先连接模拟器或真机,将上文提示词发送给 Agent,并在 Canvas 上圈选需要验证的区域。

image.png
image.png

跳转微信打开

  •  

永远不要低估小米

原创 李墨天 2026-09-11 15:00 上海

目标决定上限

今年9月的产品发布会,小米内部的定调是“自研技术大会师”。

何为会师?发布会上新产品集成了小米过去五年的核心研发成果,即将接受市场检阅。

产品发布会前,小米公布了玄戒芯片的第二代产品线,一口气拿出玄戒O3/O100/D100三颗芯片。其中搭载玄戒O3的小米18Fold,是小米历史上定价最高的旗舰机型。

预热已久的小米澎程SUV,六根滑轨、纯平地板、可变空间的产品定义,都是行业首次出现。

过去五年,小米各个研发部门把雷军拍板的“五年千亿”研发开支花了个一干二净,但芯片首发定价破万旗舰机型,新车杀入被车企犁了好几遍的主流增程领域,技术创新能不能被市场接受,还是未知数。

9月7日,小米发布小米澎程新车

2021年小米宣布造车,米粉的反应是振奋,行业的反应是关注,投资机构的反应是跳车。宣布造车前,公募基金持仓的小米股票攀升到阶段性高点,宣布造车后,主观公募基金大举撤退,用实际行动表达对造车的不看好。

造车的同时,小米重启芯片研发项目,即后来的玄戒芯片。每个都是百亿级别的财务黑洞,小米自己的说法是“同时供两个孩子上大学”,投资机构看了难免头大。

当时,高调亮相的汽车业务几乎被一边倒质疑;秘密行进的芯片业务是网络名梗,2022年,两个百亿规模的投资未见曙光,小米营收罕见下滑,公司市值跌倒谷底。

资本市场关注出货量、ASP、毛利率和营收指引,企业经营是可量化的指标。汽车业务重资产高折旧,第一批新势力除了理想一个比一个能亏,友商建议雷军趁早收手,见惯了财务报表的投资机构,自然也看不上这种商业模式。

公司经营可以按季度观测,但公司要考虑长期的确定性,以五年十年为单位校准。五年前的小米和今天的小米,已经不是一个小米了。

至少在五年前,预言有一家车企会刷新纽北最速量产车的记录,没有人会想到小米。

01.必经之路

一家企业的战略,核心是回答三个问题:我们现在在哪里?我们将来去哪里?中间的路怎么走?

2020年小米成立十周年,雷军和管理层做了一次深度复盘:过去的十年,小米验证了自身的商业模式,迅速形成规模。不知不觉中,公司走到了十字路口:

小米创业十年的成绩堪称商业奇迹,营收突破2000亿,手机业务做到全球前三,各项经营指标都相对健康。但这些成果放在全球科技史上,依然是无名之辈。

即便在手机市场,小米面前还有苹果、三星、华为三座大山,是小米过去十年学习和竞争的标的,也是小米未来十年想超越的目标。

想完成这个新目标,不能靠旧的体系。

小米上市前后,一些问题已经开始暴露。2019年,小米手机全球出货量继续增长,但中国市场同比下滑21%,几乎被华为碾压;公司内部产品线相对独立,存在重复建设;线下渠道铺设跌跌撞撞,勉强步入正轨。

产品层面,小米有过小米MIX这样的神来之笔,推动了全面屏的普及,但势头未能持续。原因是整个公司还没形成系统性的创新能力,根子是底层技术积累不足。

2016年,小米发布小米MIX

对技术的理解决定了产品的上限,米饭仙人捏100年寿司,也切不来文思豆腐。不掌握底层技术,就只能在供应链设定的边界进行系统集成,面对新的技术趋势,就只能参与和跟随,做不到引领。

公司层面,“人车家全生态”有了雏形,各类终端产品需要统一的计算平台和芯片设计能力支撑。核心主业手机想更进一步,也要突破芯片和系统这一关。汽车业务起步比新势力晚,必须要在产品体验上拉开档次。

上市之际,资本市场对小米是互联网公司还是硬件公司展开激烈讨论,最后给了个制造业的估值;舆论层面,“组装厂”的偏见伴随小米多年。雷军和管理层认为,商业模式的创新已经穷尽,必须向底层核心技术探索。

于是,芯片、操作系统、整车的底盘和电子电气架构等技术环节,成了不得不做的事。基于这些目标,雷军提出小米新十年方向,也是小米战略落地的路径:

大规模投入底层技术,成为全球新一代硬核技术领导者。

2020年,小米定下了“未来5年研发投入超过1000亿元”的基本原则,覆盖多个垂直领域,最重要的是汽车和芯片。

出来混,最重要的是出来。

02.做好准备

关于小米的诸多讨论中,有一个概念频繁出现:供应链成熟。

事实的确如此,小米造车的时候,中国的新能源产业链已经优胜劣汰了好几轮;小米重启芯片业务的时候,参与芯片上下游分工的供应商,不能说遍地都是,也绝对不算少。

但供应链成熟也会带来一个现实问题:怎么在开源素材上做得更好。换句话说,纯靠供应链就能做出好产品吗?

2025年,谷歌推出手机芯片Tensor G5,彻底摒弃套壳三星Exynos的思路,完全基于ARM架构自研,用上了苹果和高通验证过的台积电3nm工艺。战绩如何?性能略逊于2020年的苹果A14,估计台积电都嫌丢脸。

谷歌的人力财力远在小米之上,尚且翻车;汽车领域,小米的对手都是狠角色,拼凑供应链技术,毫无胜算。

产业巨头林立的背景下,全新的芯片平台要造得出,全新的车型能卖得好,需要两个前提+一个条件。

第一个前提当然是钱。造芯和造车都是百亿级别的投资,高科技领域,一个翻车可能就万劫不复。苹果和华为,在这方面都有天然优势。

华为海思顶着压力从K3V2芯片一路迭代,打造了大名鼎鼎的麒麟系列,是有利润率很高的运营商业务做安全垫。苹果汽车花了足足十年冤枉钱,是因为iPhone发布后,这家公司对钱已经没什么概念了。

践行长期主义的第一步是有钱,2021年的小米不能说富可敌国,但有点家底。有别于其他手机品牌,小米有一块百亿级别的IoT业务,占总营收30%左右,去年营收1232亿,是手机业务的2/3,提供了额外现金流。

第二个前提是对供应链的投资。小米另一个身份是产业资本,以小米长江产业基金和顺为资本为代表。和风险投资不同,产业资本的投资基于自身需求,能够提供确定的研发目标和订单,隐含了未来的采购承诺。

比如2020年,长江基金投资了一家名叫“卢米蓝”的材料公司,后者主攻OLED发光材料,研发成功后用于小米17系列。产业资本既提供研发资金,又提供产品订单,可以带动供应链迅速成长。

典型如长鑫的投资,小米本身是长鑫的大客户,小米18 Fold搭载了长鑫最新的DDR6内存芯片。不过客观来说,在长鑫群星璀璨的股东名单里,小米不算特别耀眼。

长鑫招股书中的大客户基本都参与了长鑫的投资

2019年后的国产半导体替代窗口,长江基金密集投资了50多家公司,其中恒玄、翱捷、格科微、豪威(韦尔股份)等公司都陆续上市,都是国内半导体产业的核心力量。

顺为的投资更偏下游,2015年投蔚来,2017年投小鹏和Momenta,针对半导体的投资全在车规/智驾端。小米自己收购了DeepMotion,并领投了禾赛。在造车之前,小米就把供应链摸透了。

账户里有钱,供应链上有人就够了吗?远远不够。

去上游扫货是大干一场的前提,苹果仅公开的收购中,就包括PA Semi和Intrinsity(芯片)、AuthenTec(Touch ID)、PrimeSense(Face ID),收购后都快速转化为产品功能。

2020年后,苹果在AI领域陆续收购了Xnor.ai、Voysis、Inductiv、WaveOne、Datakalab、DarwinAI等6家公司,今年1月,收购上一向吝啬的苹果开出20亿美元,买下AI公司Q.ai。但苹果在AI领域的成就,目前仅粉丝可见。

有钱有人不等于有技术,比两个前提更重要的,是那一个条件。

03.当个事办

2017年,小米发布自研芯片澎湃S1,上市即落后,生命周期只有六个月。后续的澎湃S2流片失败,主体公司松果进行改组,业务转向IoT芯片。

当时,松果作为独立公司存在于小米体外,很难与体内的业务部门打配合,小米的财力也不足以支撑这么大的项目。但抛开这些客观因素,核心原因只有一个:目标定的太低。

芯片研发所需的成本取决于设计目标,丰俭由人。搞一款90nm的嵌入式芯片,几百万就能上车,外包团队遍地都是。澎湃S1定位中端,采用当时就落后的28nm工艺,适合入门,不适合练兵。

一直以来,舆论对研发存在两个误区:

一是研发费用越多越好,研发费用变成了一种价值取向。有一家叫中国建筑的公司,常年位居A股研发开支首位,这两年才被比亚迪超越。但应该没人认为中国建筑掌握了什么高科技。

第二个误区是什么都要自己做。越是技术含量高的领域,产业分工程度就越深。研发的目的是对高附加值环节的把控,想把所有环节都握在自己的手里,既不成立,也不现实。

对科技公司来说,产品是研发投入的结果,真正的核心资产是研发过程中积累的知识和经验,比如算力集群的软件优化,电芯生产的良率提升,芯片仿真验证的效率。烧钱烧出来的教训,试错试出来的直觉,都会变成珍贵的隐性知识。

能积累什么经验,能沉淀什么Knowhow,取决于公司的目标。这就是那个关键的条件:目标。

如果你的目标是设计一款中端芯片,团队就只能积累中端芯片研发的Knowhow。如果团队基于成熟制程开发,就永远理解不了先进制程芯片的设计。

研发团队能做多大的事业,同样依赖公司设定的目标。小米汽车的纪录片里,几乎每一个工程师都提到,小米SU7是“自己一直想做的车”、“想开着自己做的车跑纽北”。没有足够的空间和信任,技术抱负便无法实现。

今年5月,小米首席测试车手任周灿成为首个获纽北官方圈速认证的中国车手

如果公司设定一个平庸的目标,既无法吸引顶尖的人才,也无法培养顶尖的人才。之前流传的投资人交流纪要中,梁文锋就讲过这个问题:

AGI是更大的愿景,这个愿景能够凝聚起更多优秀的人,它有更强的凝聚力。如果你是一个商业公司,你的愿景就是服务好C端用户,那是另外⼀个故事。他在产品上、用户服务上、流量上会有优势,但是在技术上没有优势。

设定一个宏大的目标很容易,认真对待一个目标很难。是自己带头冲锋还是孵化一个体外公司?是用自己的家底还是吸纳外部融资?分量完全不一样。

2020年后,小米从产品到技术的研发,都围绕着“成为全球新一代硬核技术领导者”的目标推进。

小米汽车定下了“纽北圈速”的目标,以此为指引,小米上来就瞄准电机、底盘架构、汽车电子等关键技术的研发,实现对核心环节的掌控。如果目标是纯粹的销量,核心技术的研发就不是必选项,就做不到技术上的引领。

纽北量产车圈速榜前十名里,目前只有两款国产车,换句话说,全中国只有仰望U9X和小米SU7 Ultra的工程师,知道怎么造一台打破纽北记录的量产车——这就叫引领。

2021年重启芯片业务,小米直接锚定“高端旗舰SoC”的定位,定下了核心参数看齐行业第一梯队的目标。目标定的足够高,研发团队才有足够的试错空间,过程中积累的隐性知识,价值就更大。

小米澎程在车型定义上,产研团队调研了大量SUV车主,结果是车内空间虽然大,但还是有成片的痛点。靠配置和参数解决不了,只能从底盘开始重新定义,大量的技术环节,产业界没有先例。

小米昆仑架构大幅优化了汽车底盘布局

围绕这个目标,小米澎程跳出主流家用车的框架,提出了非常激进的纯平地板+6滑轨的设计,导致后电驱、电池包、油箱需要重新布置,整个底盘得从头正向研发,再拿到真实路况里重新验证和测试。

小米花了三年半时间,测试车跑了428万公里,打造了全新的昆仑架构。

基于现有的技术也能形成产品方案,先提出设计目标再突破相关技术是另一条路,小米选择了后者。通勤的十万公里和赛道上的十万公里,积累下来的东西完全不同。只有底层技术突破,产品才能打开更多想象空间。

纯平地板对应的汽车底盘设计经验,3nm芯片设计经验,混合键和落地经验,都是相当前沿的技术资产。搭载这些技术的产品能否被市场接受?目前是未知数。但技术能力的建设是连贯的过程,产品的成功和失败,都不影响能力的积累。

一个人的进步,一个公司的成长,取决于他做了什么。

小米离全球顶级的科技公司还有距离,但他们至少证明了一件事:给一群人才足够的信任、空间和预算,他们能折腾出什么东西。

04.顺势而为

小米过去的五年,完整呈现了一个公司战略的制定与执行的完整过程。

雷军是一个善于复盘的企业家,2007年金山上市,股价当天腰斩,雷军没有抱怨市场和大环境,而是逐条分析为什么金山做了16年,为什么市值没有腾讯的一半?为什么WPS技术不比微软差,市场份额只有个位数?

90年代信息化大潮席卷全国,大批软件公司乘风而起,求伯君和雷军这批程序员登上历史舞台。但中国软件业的黄金时代极其短暂,2000前后互联网浪潮来袭,大量从业者被互联网和游戏虹吸,雷军发现自己在互联网时代做着一家软件公司。

小米是移动互联网的产物,也是雷军“顺势而为”理念的产物。从2007年iPhone问世算起,移动互联网在中国的增长持续了长达十五年。

小米的路径,和其他科技公司并没有特别大的不同:从一个技术风口起步以产业资本的角色进行投资,与供应链广泛合作开发新技术和新方案,是所有公司都走过的路。

但接下来怎么走,是每个公司的选择。

2020年,拿着创业十年攒下的家底,摆在小米面前的问题是:中国还需要另一家2020年的小米吗?小米要每年多1000亿收入,还是每年培养1000个芯片和汽车底盘工程师?

答案显然是后者。

移动互联网时代,小米在核心技术领域的角色是追赶者。消费电子产业,终端厂商的技术目标是创新的源头。智能手机的形态大体上由苹果定义,CNC一体成型、堆叠式主板、3D结构光等技术方案,也基本由苹果引领。

折叠屏手机出现后,智能手机的定义开始向中国企业转移,9月份苹果、华为、小米三家发布会撞车,日经的标题就很直接:华为和小米在引领手机进化。

小米想更进一步,先进制程芯片、软件系统的短板必须补齐,大语言模型、人形机器人这些前沿领域,必须第一时间参与。小米汽车要做全球前五的汽车厂商,就不能靠供应链技术拼凑的经济适用车打天下。

小米AI Cube Prototype,搭载玄戒O3、玄戒O100、玄戒D100,支持大模型本地部署

之于产业界,小米入局3nm的芯片的研发,相关的芯片设计人才才有施展拳脚的土壤,小米想做一辆纯平地板的SUV,底盘工程师的发挥空间才能彻底打开。

小米最大的变化,是它的目标和视野。

05.尾声

2010年,癌症晚期的乔布斯在第一代iPad发布会上,首次向世人展示了苹果自研的A4芯片。主流媒体的评论是“套壳三星”。十多年后,苹果已经构建了一个半导体帝国。

2010年,乔布斯展示苹果A4芯片

同样是2010年,小米供应链高管去英华达谈代工,能拿得出手的只有银行存单和“MIUI的几十万用户”。十多年间,小米经历多次危机,但总能卷土重来。

比尔·盖茨在1996年出版的《The Road Ahead》中说:我们总是高估未来两年的变化,而低估未来十年的变化。这句话在这本书出版后的每一个十年里,都被反复验证。

技术有趋势,行业有周期,一家公司的上限,永远取决于它的目标和战略。如阿拉伯诗人穆太奈比所写:

你若不惜生命去追求荣耀,那就应当把星星当作目标。因为碌碌无为或建功立业,到头来死都是一样的味道。

全文完,感谢您的耐心阅读。

参考资料

[1] 小米怎么了,财新

[2] 小米创业思考,雷军/徐洁云

[3] 一往无前,范海涛

[4] 小米公司财报,小米

[5]ARM to A4: How Apple changed the climate in mobile silicon, AppleInsider

作者:李墨天

编辑:戴老板

责任编辑:李墨天

制图:李墨天

图片

图片

跳转微信打开

  •  

The Batch: 983 | 一种更简单的模型监控方法

原创 DeeplearningAI 2026-09-11 12:45 北京

Hi~新朋友,记得关注我们哟

在生成过程中发挥作用的 LLM 安全监控器通常会分析一系列安全分数,以捕捉不正确或有害的输出。研究人员发现,只分析单个安全分数就能达到几乎相同的性能。

● 最新消息:来自阿姆斯特丹大学、威斯康星大学麦迪逊分校和约翰斯·霍普金斯大学的 Mona Schirmer、Metod Jazbec 及其同事提出了一种名为 CRC Monitor 的简单监控系统——CRC 代表 conformal risk control(保形风险控制)。它通过将单个安全分数与针对具体任务精心校准的阈值进行比较,来评估输出的安全性。

● 关键见解:e-valuator 等系统会在每一步推理、每轮对话或每次工具调用后对 LLM 的输出打分,并分析分数历史来决定是否停止。更简单的方法是在最新一步的分数低于阈值时立即停止。难点在于如何可靠地选择这个阈值。基于有限验证集测得的误报率,可能仅仅由于偶然因素而低于新数据上的误报率。因此,需要更保守地选择阈值。

●工作原理:研究人员为两个需要在生成出错时停止模型的任务校准了 CRC Monitor 的阈值:错误数学推理和有害主题内容。对于每个数据集,他们使用一个单独的模型,即 verifier,对每一步输出文本进行评分。他们找到了同时满足两个标准的阈值:(i)尽可能多地捕捉不安全输出;(ii)将误报数量控制在用户定义的上限之下。

✴ 对于数学推理,研究人员构建了一个校准数据集。他们使用 Anthropic Claude Haiku 4.5 和 Mistral-7B-Instruct 生成了 MATH 数据集上的解答。一个 verifier(Alibaba Qwen2.5-Math-PRM-7B)通过估计推理是否仍沿着能产生正确解答的轨道前进来打分。他们使用 OpenAI o3-mini 验证每个解答,从而为校准创建标签。

✴ 对于有害主题内容,他们在 Anthropic Red Teaming 数据集上进行了评估,该数据集包含旨在诱发 LLM 产生有害回应的对话;还在 FineHarm上进行了评估,其中包含带有有害性标注的多轮对话。对于 verifier,他们在 Anthropic Red Teaming 上使用了 Llama Guard,在 FineHarm 上使用了一个经过微调、用于检测有害性的 Qwen2.5-1.5B 模型。

✴ 研究人员在验证集上尝试了许多阈值,并测量了每个阈值错误停止安全输出的频率(更高的阈值意味着更多输出会被标记为不安全)。由于真实数据上的实际误报率可能高于验证数据,他们在测得的误报率上加了一个小的补偿值,然后选择在修改后的误报率低于用户定义上限时仍尽可能大的阈值。

✴ 在推理阶段,当 verifier 分数低于阈值时,系统就会停止生成输出。

● 测试结果:CRC Monitor 更快地标记了不安全回应,同时保持了用户要求的误报率,并在大多数实验中与 e-valuator 的表现相当。

✴ 在 MATH 数据集上,当用户定义的误报率为 20% 时,该系统检测到了约 80% 的由 Mistral-7B-Instruct 生成的错误解答,与 e-valuator 的 80% 相同。它平均在推理过程进行约 35% 时就发出警报,而 e-valuator 为 40%。

✴ 与数学能力更强的 Claude Haiku 4.5 搭配时,CRC Monitor 检测到了约 75% 的错误解答,几乎与 e-valuator 的 76% 持平;它平均在推理过程进行约 40% 时发出警报,而 e-valuator 为 49%。

✴ 在 FineHarm 数据集上,当用户定义的误报率为 20% 时,CRC Monitor 检测到了接近 99.5% 的有害输出,并且平均在对话进行约 14% 时发出警报,这两项性能都与 e-valuator 持平。

✴ 在 Anthropic Red Teaming 上,CRC Monitor 检测到的有害对话更少(32%,而 e-valuator 为 54%),但它发出警报更早,平均在对话进行约 26% 时就报警,而不是 55%。

●重要原因:阻止 LLM 生成不想要的输出可以用更简单、成本更低的方式实现。一个有效的监控器只需要最新一轮生成的安全分数、一个经过校准的阈值,以及对错误的预设容忍度,就能在输出生成过程中捕捉到这类内容。这种方法比竞争方法更早地发现问题,从而减少用户接触错误或令人反感输出的机会(也降低了一部分推理成本)。研究人员建议,他们的方法适合用于分层监控架构:持续生成廉价信号,根据经过校准的规则停止,并且只有当廉价信号表明输出质量较差时,才切换到更昂贵的 verifier。

● 我们在想:既然一种简单的安全检测方法就能和复杂方法一样有效,那么改进其背后的 verifier,可能比设计更复杂的结果加权方式带来更大的性能提升。

点击下方阅读原文查看更多有趣内容哦~

阅读原文

跳转微信打开

  •  

山观 HIKE Insight | AI4AI:让AI成为自己的科学家

原创 Rhyme 2026-09-11 11:59 北京

AI4AI的价值不止于工具提效,更在于改变科研组织方式。

AI能力持续提升,但目前来看研发环节仍受人的带宽限制:架构需要人设计,数据配比由人决定,训练方法也依赖研究人员反复试验。算力和数据可以扩展,顶尖研究者的时间却很难复制。AI4AI试图解决的,正是这一约束:让AI参与AI系统本身的研究与开发。

因此,AI4AI(AI for AI)与一般的“AI+行业”应用有所不同。其他应用主要优化特定行业的成本和效率,AI-4-AI直接作用于AI研发本身,产出也会反过来提升AI能力。由于研究对象天然数字化、反馈相对标准化,它可能是AI Scientist各垂直方向中较早实现自动化的一类。

AI4AI的价值不止于工具提效,更在于改变科研组织方式。当实验空间可以由系统大规模搜索、失败经验可以结构化积累,创新就不必完全依赖少数研究者的直觉,而有机会形成可持续、可扩展的研发流程。

一、概念与边界:AI如何参与AI研发

AI4AI可视为AI Scientist的一个垂直方向。

AI Scientist主要解决科学发现自动化问题,即由AI替代或增强科研人员,参与生物、化学、材料、物理、AI等领域的研究工作。

AI Scientist for AI是其中一个垂直方向,并具备四项较有利的落地条件:

1)研究对象天然数字化,实验可以由代码执行;

2)反馈更加标准化;

3)研究人员和开发者本身就是用户;

4)过程轨迹数据相对容易获取。

因此,它可能成为AI Scientist中较早落地的方向。

具体而言,AI4AI是利用AI自动化AI系统自身的研究、开发和优化,覆盖模型架构设计、数据构造与筛选、训练配方搜索、超参数优化、推理效率优化和Agent架构改进等环节。

AI4AI的关键,是让AI从研发对象转变为研发参与者,并逐步承担部分流程。长期目标是实现AI研发自动化:AI能够持续改进下一代系统,形成模型优化与训练的闭环,并实现持续自我演进。这不仅包括辅助研究员写代码、检索论文,还包括持续运行以下研究流程:

图1|AI4AI将研究过程组织为可持续迭代的闭环。

从整体流程看,主要包括提出idea、进行verify和模型训练自动化三部分。

Innovator/提出idea:包括目标定义、研究现状建模和假设生成。

  • 研究目标定义:将模糊目标转化为可执行任务,例如在固定算力下提高模型的数学能力,或将某个模型的推理成本降低30%。难点在于,研究目标往往不是单一指标优化,而要在性能、成本、鲁棒性、安全性和工程复杂度之间权衡。

  • 知识获取和研究现状建模:检索论文、代码库、实验记录、内部文档和失败经验,形成对现有研究空间的理解。这一环节的标准化程度较高,评价方式也相对明确。

  • 假设生成:生成多个候选研究方向并排序。这是当前AI4AI难度最高、也最影响能力上限的环节。

Verifier/实验验证:包括实验设计、实验执行、结果分析与反思。

  • 实验设计:将假设转化为实验计划,明确对照组、数据集、模型结构、训练预算、超参数、评价指标、消融实验、中止条件和结果判断规则等。

  • 实验执行:修改训练代码,搭建数据处理流程,配置训练任务,编写评估脚本,构建消融实验并修复运行错误,再交由代码执行环境、算力平台或仿真系统执行。

  • 结果分析与反思:检查统计显著性、实现错误和可复现性,并据此决定扩大实验、小幅修改、更换假设或放弃当前方向。

模型训练自动化:

  • AI4AI的产物可以是论文、新算法、训练配方或数据集,也可以直接交付一个训练完成、性能更好的模型。

  • 从一篇论文或经过验证的idea到训练完成的模型,既可以由人完成,也可以由AI自动执行。相较于提出研究假设,这一流程更为标准化。

图2|从提出假设、实验验证到模型训练的三段自动化。

二、核心价值:重构AI科研的生产函数

问题一:研究人员及其时间是稀缺资源

顶尖AI研究员数量有限,大量时间又被文献搜集、环境配置、代码修改、错误排查、消融实验、数据整理、报告撰写和重复验证占用。AI4AI首先可以减少这些执行工作,让研究人员把更多精力放在问题定义、关键判断和结果解释上。

问题二:实验空间远大于人类可探索空间

模型架构、数据配比、训练参数和后训练策略之间存在巨大的组合空间。研究人员通常依赖经验,只能探索少量候选方向。AI可以通过大规模并行搜索、贝叶斯优化、进化搜索或多智能体协作,覆盖更多组合。

问题三:大量失败经验没有被有效积累

企业内部积累了大量未发表、未结构化的失败实验。人员流动后,部分经验随之流失,新加入的研究员可能重复相同错误。AI4AI系统可以将这些实验记录转化为结构化记忆。

问题四:研究过程难以规模化管理

传统研发管理高度依赖研究负责人和少数资深专家。项目增多后,组织很难持续判断哪些项目值得继续、哪些结果可信、哪些团队在重复劳动,以及资源配置是否有效。AI可以帮助统一记录和管理研究目标、实验过程、证据与决策。

总体而言,其核心价值是提高科研生产率,并直接作用于AI与科学进步的生产函数。一方面,它可以通过更高的时间利用率和并行计算提高实验效率;另一方面,它有望结合大规模搜索、AI拟合和可解释性方法,提高优质idea出现和被验证的概率。

三、技术路径:从Agent Harness到原生科研模型

四类技术路线分别对应不同的能力来源、落地场景与竞争壁垒。

四类路线并不互斥,成熟的AI4AI系统可能采用分层组合:预训练模型提供基础能力,后训练(Post-train)形成领域专长,智能体编排框架(Agent Harness)连接工具和实验环境,专有元模型负责研究规划和持续迭代。

从当前产业成熟度看:

  • Agent Harness最容易落地,也是多数创业公司的起点,但独立壁垒相对有限。

  • Post-train更容易形成垂直数据壁垒,在效果与资源投入之间相对均衡。

  • Pre-train的能力上限最高,但更适合资金和算力充足的大型公司。

  • 专有元模型具有较高的长期价值,其壁垒主要来自跨实验积累的长期数据、评价体系和研究决策能力。

四、产业判断:切入环节、商业模式与竞争壁垒

切入环节:长期看,提出假设比实验验证更难,也更关键

idea生成是当前AI4AI难度最高的环节。基于现有LLM,生成70-80分的idea相对容易,但要生成95分以上的idea,难度仍然较大。

idea生成也决定了系统的能力上限。verifier更偏向执行,而高质量idea过去高度依赖顶尖researchers,即使对他们而言也带有一定随机性。如果AI能够突破idea生成的门槛,就意味着科研taste可以在更大范围内被学习和复制。

商业模式:端到端模型优于阶段性发现或服务

阶段性发现和服务能够产生一定商业价值,也适合用于验证能力和开展PR,但其价值链较短。下游客户如大模型厂商相对集中,议价能力较强,因此这类业务未必是最优的长期商业模式。

通用模型可以满足各垂直领域60-70%的需求,但剩余30-40%仍需结合具体领域的业务语境与专业知识优化。如果AI能够针对某个垂直领域找到更合适的模型架构、数据和训练方式,并完成端到端训练与交付,以优于通用模型的冷启动效果进入场景,再根据真实使用持续迭代,其商业空间会更大,也能形成相对基础模型厂商的差异化。

壁垒:创业公司的机会在于速度、专业能力和数据飞轮

AI4AI也是基础模型厂商和大型科技公司的重点方向,各家公司都在开展探索。目前各家,尤其是国内企业,投入资源仍然有限,创业公司尚有时间窗口;但从长期看,这一方向会进入主流竞争。

先发优势能否转化为壁垒,取决于企业能否建立数据飞轮。AI4AI的持续学习机制为此提供了基础,但仍需尽快形成“更多真实任务→更多实验和失败数据→更好的决策策略→更高成功率→获得更多任务”的业务闭环。

图3|真实任务与失败数据如何沉淀为决策能力。

沿着LLM主线进行方法创新,短期投入回报较高,但竞争也更激烈。基础模型厂商拥有底层模型、AI训练数据和可复用的基础设施能力,对创业公司的执行速度和资源投入提出了更高要求。与LLM正交的技术路线,如专有元模型,差异化更强,也可以在一定程度上避开正面竞争。

结语

AI4AI的长期目标并非只为研究员节省时间,而是提高优质研究假设出现和被验证的概率。研究判断力往往沉淀在研究者的经验中;能否率先将其显式化并转化为可训练能力,是决定谁能掌握闭环关键环节的核心。

在此之前,竞争重点仍在工程能力:通过Agent Harness积累过程轨迹,通过数据沉淀专业能力,再利用持续反馈提高决策质量。更能反映系统能力的,不只是产品收入,还包括单位算力能够产出多少经过验证的有效假设。

随着执行、验证乃至研究方向选择逐步自动化,人类研究者与AI之间的分工也需要重新界定。

山观 HIKE Insight | 商业火箭进入兑现期:从技术验证到资本化窗口

山行公司 | 3D存算一体芯片领军企业谦合益邦完成超20亿元B轮融资

山观 HIKE Insight | 从带宽到容量:HBF技术演进与VC投资机会

山行公司 | 东方空间引力一号(遥四)运载火箭一箭9星远海发射任务圆满成功

山行公司 | 科辉智药完成近亿元A轮融资

跳转微信打开

  •  

山行荣誉 | 在技术交叉处,做产业的长期陪伴者

山行资本 2026-09-11 11:59 北京

山行资本获“中国人工智能产业投资机构TOP30”等奖项。

近日,36氪创投研究院发布「2026年度十大赛道产业投资机构系列名册」。

山行资本入选“中国人工智能产业投资机构TOP30”;

山行资本创始合伙人徐诗入选“中国人工智能产业投资人TOP30”及“中国先进制造产业投资人TOP30”。

此次入选,是对山行长期产业研究的一份鼓励。

山行持续布局具身智能、人工智能与半导体等方向,山行关注的是技术能否被做成产品,并进入客户的真实使用场景。

人工智能走向产业,离不开从算法、芯片到制造与交付的长期协同。山行资本持续关注这一链条中的关键环节:从具身智能企业谦和益邦、Remio,到人工智能与半导体相关的创新团队,山行希望陪伴那些真正进入产业现场、能够解决具体问题的创业者。

这不是对单一风口的追逐,而是对技术向真实世界落地这一长期趋势的判断。无论是模型与数据,还是芯片、制造和供应链,最终都要接受产品、客户与规模化交付的检验。山行将继续在人工智能、半导体与先进制造等方向深耕,寻找能穿越技术迭代与产业周期的公司。

也恭喜其他共同上榜的同行们!

山行资本入选中国人工智能产业投资机构TOP30

徐诗入选中国人工智能产业投资人TOP30

徐诗入选中国先进制造产业投资人TOP30

跳转微信打开

  •  
❌