铃阅时讯
❌

普通视图

MyBatis-Plus踩坑血泪史:那些年我们踩过的坑!

2025年11月24日 18:26

原创 朱洪旭 2025-11-24 18:26 北京

前言:我们在生产环境里跑MyBatis-Plus很多年,几乎把能踩的坑都踩过了。每次出事故,都能追溯到我们当初以为“框架会帮忙搞定”的某个细节。于是我们把这些真实经历写下来,用更接地气的方式聊聊根因和解法,帮你少熬几次夜。

1、时代背景与ORM选择

1.1 互联网时代的数据挑战

业务量暴涨,数据也跟着狂飙。百万级数据在几年前还算大,如今动不动就上亿。与此同时,微服务拆分得越来越细,数据访问层变得又厚又复杂。大家一边要追新需求,一边又要兼顾性能稳定。没有趁手的开发工具,根本顶不住节奏。

1.2 MyBatis-Plus的诞生与定位

于是,Java团队开始在ORM世界里不断找平衡。Hibernate太重,原生MyBatis又太多手工活。MyBatis-Plus正是在这种“又想快又想稳”的诉求下出现的。它不是简单的“语法糖”,而是一个为了生产环境而生的增强框架。

MyBatis-Plus的核心价值:

  • 简化开发:CRUD都有封装,少写很多SQL,手更轻

  • 功能增强:逻辑删除、自动填充、乐观锁、多租户、代码生成器等都现成

  • 性能优化:内置分页、性能分析、批量优化、缓存插件,跑得更快

  • 无缝集成:兼容MyBatis,老项目也能慢慢替换,几乎不用重构

这些卖点让MyBatis-Plus迅速走红。不过,功能多并不等于好用。特别是到了生产环境,隐藏的坑一个接一个。


2、生产环境挑战

开发环境里一切都很顺。saveBatch()轻松搞定批量插入,@TableId(type = IdType.ASSIGN_ID)一写就有分布式ID,看起来稳得很。

然而,真正部署上线后问题才暴露出来。

凌晨3点的告警:主键冲突,订单系统停摆。我们发现两个容器实例生成了同一个雪花ID。理论上“不可能发生”的事,就这么发生了。

再往下排查,批量操作乱序、枚举字段写入异常、自动填充失灵……问题一个比一个离谱。

这些事故有个共同点:开发环境一切正常,生产环境却崩成一片。根本原因是单机和分布式、低并发和高并发之间的差异,被框架默认配置无限放大,结果就是“看着没事”的代码在生产里频频掉链子。

我们因此整理出MyBatis-Plus在生产环境最容易暴雷的6大陷阱:

  1. 雪花算法ID生成重复问题

  2. 批量插入乱序问题

  3. 枚举字段存储风险

  4. 驼峰转换错位

  5. 批量操作时自动填充失效

  6. 写入时JSON数据丢失或格式异常

接下来我们把这些问题逐一拆开,聊聊背后的逻辑,再给出实测可行的解法。


雪花算法ID生成重复问题

3.1 问题现象

// 看起来很正常的代码
@TableId(value = "id", type = IdType.ASSIGN_ID)
private Long id;
// 但在生产环境中却出现了这样的错误:
// Duplicate entry '1234567890123456789' for key 'PRIMARY'

“ID怎么还能撞?” 这是我们第一次遇到时的真实反应。

3.2 雪花算法身份证结构

先搞清楚雪花ID里面装了什么,再谈如何防重复。可以把它想成一个超长身份证号:

身份证号码:1234567890123456789
分解结构:
┌─────────┬─────────┬─────────┬─────────┐
│  时间戳  │ 数据中心 │ 机器编号 │ 序列号  │
│ (41位)  │ (5位)   │ (5位)   │ (12位)  │
└─────────┴─────────┴─────────┴─────────┘
  • 时间戳像出生年月日

  • 数据中心ID类似省份

  • 机器ID对应城市

  • 序列号就是同一毫秒的排队号

3.3 问题根源

我们把雪花ID重复的元凶总结成四类。

3.3.1 元凶一:未配置机器ID,所有实例走默认值

很多人以为框架会自动算出唯一的workerId,于是干脆不配。结果大家都走同一个默认流程。

MyBatis-Plus获取机器ID的策略:yBatis-Plus获取机器ID的策略

看似严谨,然而一旦进入第二步,容器环境下“撞车”概率直线上升。

3.3.2 元凶二:容器环境的MAC地址克隆

先看Docker容器MAC地址的规律:

Docker容器MAC地址格式:02:42:ac:11:00:XX
                     ├─────────────┤├─┤
                     固定前缀      变化部分
容器1:02:42:ac:11:00:02
容器2:02:42:ac:11:00:03  
容器3:02:42:ac:11:00:04
...

如果继续依赖“取后两字节再模32”的做法,就会出现下面的情况:

MAC地址计算流程:
1. 提取后2字节 → 00:02, 00:03, 00:04...
2. 位运算处理 → 得到不同的中间值
3. 模32取余 → 问题就出在这里
实际结果:
├─ 容器1-32:机器ID = 0-31 ✅
├─ 容器33:机器ID = 0 ❌
├─ 容器34:机器ID = 1 ❌
└─ 以此类推...

如此可见,只要实例超过32个,就一定有重复。

3.3.3 元凶三:Kubernetes环境的虚拟MAC

再看K8s。Pod里的网络接口本来就是虚拟的,MAC地址由CNI随机分配,还可能拿不到。 Kubernetes Pod网络特点:

  1. 每个Pod都有虚拟网络接口

  2. MAC地址由CNI插件分配

  3. 同一节点的Pod可能模式一致

  4. 某些环境下干脆拿不到MACyBatis-Plus获取机器MAC地址

这种情况下,100个Pod全用workerId=1,冲突直接拉满。

3.3.4 元凶四:时钟回拨

雪花算法非常依赖系统时间。一旦时钟被调回,就会闹出大问题。

雪花ID生成流程如下所示:雪花ID生成流程但是,如何出现时钟回拨,就会出现如下问题时钟回拨

当以下条件同时满足时,重复就无可避免:

相同的机器ID (workerId=1)
相同的数据中心ID (datacenterId=1)  
相同的时间戳 (timestamp=1634567890123)
相同的序列号 (sequence=0)

3.4 解决方案:给每台机器一个专属身份证

方案一:外部获取唯一的分布式ID

@Slf4j
@Component
publicclassIdHelper{
publicstaticlonggetIdc(){
try {
return ZZIdcClient.getInstance().get();
        } catch (Throwable e) {
            log.error("act=getIdc error={}", e.getMessage());
        }
// 兜底逻辑:为了不影响业务,如果从架构拿不到id,就采用IDHelper
// IDHelper有问题,并发情况下可能会生成重复id
        log.info("k=s act=getIdcByIDHelper");
return IDHelper.generator(0);
    }
}

方案二:使用数据库自增ID

package com.baomidou.mybatisplus.annotation;
publicenum IdType {
    AUTO(0),
    NONE(1),
    INPUT(2),
    ASSIGN_ID(3),
    ASSIGN_UUID(4),
/** @deprecated */
@Deprecated
    ID_WORKER(3),
/** @deprecated */
@Deprecated
    ID_WORKER_STR(3),
/** @deprecated */
@Deprecated
    UUID(4);
privatefinalint key;
}
/**
     * 主键ID
     */
@TableId(value = "id", type = IdType.AUTO)
private Long id;

4、批量插入乱序问题

4.1 问题现象

场景1:父子订单批量插入。当子订单准备入库时,父订单还没完成,外键直接挂掉。

// 期望:先插入父订单,再插入子订单
heroPackageService.saveBatch(packages);  // 父订单
heroOrderService.saveBatch(orders);      // 子订单
// 结果:外键约束失败!
// Cannot add or update a child row: a foreign key constraint fails

场景2:远程接口返回一个有序列表,我们存到数据库里,想在后续查询中保持原有顺序,结果还是乱了。

// 期望:远程获取数据之后,存在数据库,后续从数据库获取有序列表的快照
//远程获取外部有序集合
List<HeroPackage> heroPackageList = recycleRpcService.getHeroPackageList(uid)
//将远程获取数据存入数据库
heroPackageService.saveBatch(heroPackageList)
//从数据库获取有序集合数据
List<HeroPackage> heroPackageList = heroPackageService.list(uid);
// 结果:有序集合的顺序被打乱
// 

明明是按顺序调用的,为什么会乱序?

4.2 原理

可以把它想成快递分拣。你按顺序交包裹,分拣中心为了效率会重排路线,于是最终顺序就变了。

4.2.1 MyBatis-Plus的两种批量插入模式

官方其实有两套批量逻辑,差别非常大。

模式一:默认BATCH模式(逐条插入)

MyBatis-Plus默认saveBatch的执行流程:

  1. 接收数据列表

    1. Listpackages (1000条数据)

    2. 默认批次大小:1000

  2. 创建批处理SqlSession

    1. 使用 ExecutorType.BATCH

    2. 逐条执行INSERT

  3. 逐条加入批处理队列

    1. 第1条:INSERT INTO hero_package VALUES (...)

    2. 第2条:INSERT INTO hero_package VALUES (...)

    3. ...

    4. 第1000条:INSERT INTO hero_package VALUES (...)

  4. 达到批次大小后 flushStatements()

特点:

  1. 支持主键回填

  2. 单线程下顺序可控

  3. 多线程+驱动优化后容易乱序

  4. 网络往返次数多,性能一般

模式二:优化批处理模式(合并SQL)

配置方式:要么改全局配置,要么写自定义SQL

执行流程:

  1. 接收列表

  2. foreach拼成一条多值INSERT

  3. 一次性落库

特点:

  1. 单次往返,性能高

  2. 顺序完全可控

  3. 主键需要自己准备

  4. SQL过长时得自行分批

两种模式对比:

特性

默认BATCH模式

优化批处理模式

性能

多次往返,速度一般

单次往返,极快

顺序保证

单线程可控,多线程不稳

完全可控

主键回填

支持

不支持

适用场景

依赖数据库生成主键

自己能生成主键或无主键需求

4.2.2 根本原因二:JDBC驱动的批处理重排序

MySQL JDBC驱动为了提速,会把同表操作合并。原本交错的SQL被重新分组,顺序自然就乱了。

JDBC批处理模式:

模式1:rewriteBatchedStatements=false

  1. 逐条执行

  2. 顺序稳定

  3. 性能一般

模式2:rewriteBatchedStatements=true

  1. 自动合并SQL

  2. 性能飙升

  3. 顺序可能被“优化”

例子:
原始SQL:
INSERT INTO hero_package VALUES (..)
INSERT INTO hero_order VALUES (..)
INSERT INTO hero_package VALUES (..)
INSERT INTO hero_order VALUES (..)
驱动优化后:
INSERT INTO hero_package VALUES (...), (...)
INSERT INTO hero_order VALUES (...), (...)

顺序彻底变了。

4.2.3 根本原因三:数据库层面的执行优化

MySQL优化器也会“帮忙”重排执行计划。同一张表的操作被集中,避免频繁切换表,性能是好了,但依赖顺序的逻辑直接崩。

期望:
Package1 → Order1 → Package2 → Order2
实际:
Package1, Package2 → Order1, Order2
优化器心声:
既然都是INSERT,就分组吧
省得来回切换表         

问题在于,Order引用Package的主键。如果Package还没落库,Order插入必失败。

例如下面的真实案例。两个线程并发创建订单。批处理时队列不保证FIFO,于是订单项和订单的关系全乱套。

期望: 订单A → 订单项A → 订单B → 订单项B

现实: 线程A、线程B同时写入 批处理队列交错 驱动/数据库重排 → 可能先执行线程B的订单项,再执行线程A的 → 外键和业务逻辑全乱

4.3 解决方案:控制批处理节奏

我们常用两个思路:要么“分批+强制刷新”,要么“自定义SQL一次写完”。

方案一:分批次执行,强制刷新

@Transactional
publicvoidcreateOrdersInSequence(List<OrderData> orderDataList){
int batchSize = 100;
for (int i = 0; i < orderDataList.size(); i += batchSize) {
        List<OrderData> batch = orderDataList.subList(i, 
            Math.min(i + batchSize, orderDataList.size()));
// 先插入父订单
        List<HeroPackage> packages = buildPackages(batch);
        heroPackageService.saveBatch(packages);
        sqlSession.flushStatements(); // 强制执行,确保顺序
// 再插入子订单
        List<HeroOrder> orders = buildOrders(batch);
        heroOrderService.saveBatch(orders);
        sqlSession.flushStatements();
    }
}

方案二:自定义SQL,一次性插入

// 使用自定义SQL,完全控制执行顺序
@Insert({
"<script>",
"INSERT INTO hero_package (id, seller_uid, create_time) VALUES ",
"<foreach collection='packages' item='pkg' separator=','>",
"(#{pkg.id}, #{pkg.sellerUid}, #{pkg.createTime})",
"</foreach>",
"</script>"
})
voidinsertPackageBatch(@Param("packages") List<HeroPackage> packages);

5、枚举字段存储风险

5.1 问题现象:枚举字段存储异常

// 枚举定义
publicenum OrderStatus {
    PENDING(1, "待处理"),
    PROCESSING(2, "处理中"),
    COMPLETED(3, "已完成");
privatefinal Integer code;
privatefinal String desc;
}
// 实体类
publicclassHeroOrder{
private OrderStatus orderStatus; // 期望存储code值(1,2,3)
}
// 结果:数据库中存储的是枚举名称("PENDING", "PROCESSING", "COMPLETED")

5.2 深入原理:MyBatis的默认枚举处理

// MyBatis默认的枚举处理器
publicclassEnumTypeHandler<EextendsEnum<E>> extendsBaseTypeHandler<E> {
@Override
publicvoidsetNonNullParameter(PreparedStatement ps, int i, E parameter, JdbcType jdbcType){
// 默认使用枚举的name()方法!
        ps.setString(i, parameter.name()); // 存储"PENDING"而不是1
    }
}

5.3 解决方案:使用@EnumValue注解

publicenum OrderStatus {
    PENDING(1, "待处理"),
    PROCESSING(2, "处理中"),
    COMPLETED(3, "已完成");
@EnumValue// 标记这个字段用于数据库存储
privatefinal Integer code;
privatefinal String desc;
// 构造函数和getter...
}

6、驼峰转换错位

6.1 问题现象

// 数据库字段:seller_uid, buyer_uid, create_time
// 实体类字段:
publicclassHeroPackage{
private Long sellerUid;    // ✅ 正常映射
private Long buyerUID;     // ❌ 映射失败!
private Date createTime;   // ✅ 正常映射
private String XMLData;    // ❌ 映射失败!
}

6.2 原理

MyBatis-Plus的驼峰转换算法对连续大写很无奈。

// 驼峰转换算法(简化版)
publicclassCamelCaseConverter{
public String camelToUnderscore(String camelCase){
        StringBuilder result = new StringBuilder();
for (int i = 0; i < camelCase.length(); i++) {
char c = camelCase.charAt(i);
if (Character.isUpperCase(c)) {
if (i > 0) result.append('_');
                result.append(Character.toLowerCase(c));
            } else {
                result.append(c);
            }
        }
return result.toString();
    }
}
// 转换结果:
// sellerUid -> seller_uid ✅
// buyerUID -> buyer_u_i_d ❌ (期望: buyer_uid)
// XMLData -> x_m_l_data ❌ (期望: xml_data)

6.3 解决方案:明确字段映射

方案一:使用@TableField注解
publicclassHeroPackage{
private Long sellerUid;
@TableField("buyer_uid")  // 明确指定数据库字段名
private Long buyerUID;
private Date createTime;
@TableField("xml_data")
private String XMLData;
}
方案二:统一命名规范
// 推荐的命名规范
publicclassHeroPackage{
private Long sellerUid;     // 驼峰命名,避免连续大写
private Long buyerUid;      // 而不是buyerUID
private Date createTime;
private String xmlData;     // 而不是XMLData
}
方案三:自定义命名策略
@Configuration
publicclassMybatisPlusConfig{
@Bean
public MybatisPlusInterceptor mybatisPlusInterceptor(){
        MybatisPlusInterceptor interceptor = new MybatisPlusInterceptor();
// 自定义命名策略
        GlobalConfig globalConfig = new GlobalConfig();
        globalConfig.setDbConfig(new GlobalConfig.DbConfig() {{
// 自定义字段命名策略
            setColumnFormat("`%s`"); // 字段名加反引号,避免关键字冲突
            setTableFormat("`%s`");  // 表名加反引号
        }});
return interceptor;
    }
}

7、批量操作时自动填充失效

7.1 问题现象

// 实体类配置
publicclassHeroOrder{
@TableField(fill = FieldFill.INSERT)
private Date createTime;
@TableField(fill = FieldFill.INSERT_UPDATE)  
private Date updateTime;
@TableField(fill = FieldFill.INSERT)
private Long createBy;
}
// 自动填充处理器
@Component
publicclassMyMetaObjectHandlerimplementsMetaObjectHandler{
@Override
publicvoidinsertFill(MetaObject metaObject){
this.strictInsertFill(metaObject, "createTime", Date.class, newDate());
this.strictInsertFill(metaObject, "createBy", Long.class, getCurrentUserId());
    }
@Override
publicvoidupdateFill(MetaObject metaObject){
this.strictUpdateFill(metaObject, "updateTime", Date.class, newDate());
    }
}
// 问题现象:批量操作时自动填充失效!
List<HeroOrder> orders = buildOrders();
heroOrderService.saveBatch(orders); // createTime和createBy为null!

7.2 原理

// MyBatis-Plus的自动填充机制
publicclassDefaultSqlSession{
publicintinsert(String statement, Object parameter){
// 只有通过MyBatis-Plus的insert方法才会触发自动填充
if (parameter instanceof BaseEntity) {
            metaObjectHandler.insertFill(parameter); // 触发填充
        }
return executor.update(statement, parameter);
    }
publicintupdate(String statement, Object parameter){
if (parameter instanceof BaseEntity) {
            metaObjectHandler.updateFill(parameter); // 触发填充
        }
return executor.update(statement, parameter);
    }
}
// 但是批量操作使用的是JDBC批处理
publicvoidsaveBatch(Collection<T> entityList){
// 直接执行批量SQL,跳过了自动填充逻辑!
    String sql = "INSERT INTO table VALUES (?,?,?)";
    PreparedStatement ps = connection.prepareStatement(sql);
for (T entity : entityList) {
// 没有调用metaObjectHandler.insertFill()
        ps.setObject(1, entity.getId());
        ps.setObject(2, entity.getName());
        ps.addBatch();
    }
    ps.executeBatch();
}

7.3 解决方案:手动填充 + 批量优化

方案一:批量操作前手动填充
@Service
publicclassEnhancedOrderService{
@Autowired
private MyMetaObjectHandler metaObjectHandler;
publicbooleansaveBatchWithFill(Collection<HeroOrder> entityList){
// 手动触发自动填充
        entityList.forEach(entity -> {
            MetaObject metaObject = SystemMetaObject.forObject(entity);
            metaObjectHandler.insertFill(metaObject);
        });
// 然后执行批量保存
return heroOrderService.saveBatch(entityList);
    }
}
方案二:自定义批量保存方法
@Component
publicclassBatchSaveHelper{
public <T> booleansaveBatchWithAutoFill(Collection<T> entityList, 
                                           Class<T> entityClass,
                                           BaseMapper<T> mapper)
{
if (entityList.isEmpty()) {
returntrue;
        }
// 获取当前用户和时间
        Long currentUserId = getCurrentUserId();
        Date now = new Date();
// 反射设置自动填充字段
        entityList.forEach(entity -> {
try {
                setFieldValue(entity, "createTime", now);
                setFieldValue(entity, "updateTime", now);
                setFieldValue(entity, "createBy", currentUserId);
            } catch (Exception e) {
                log.warn("自动填充失败", e);
            }
        });
// 分批保存,避免SQL过长
int batchSize = 1000;
        List<T> list = new ArrayList<>(entityList);
for (int i = 0; i < list.size(); i += batchSize) {
            List<T> batch = list.subList(i, Math.min(i + batchSize, list.size()));
            mapper.insertBatch(batch); // 自定义批量插入方法
        }
returntrue;
    }
privatevoidsetFieldValue(Object obj, String fieldName, Object value)
throws Exception 
{
        Field field = obj.getClass().getDeclaredField(fieldName);
        field.setAccessible(true);
if (field.get(obj) == null) { // 只有为null时才设置
            field.set(obj, value);
        }
    }
}

8、写入时JSON数据丢失或格式异常

8.1 问题现象

// 实体类定义
publicclassHeroPackage{
private Long id;
private String packageName;
// JSON字段存储扩展属性
private Map<String, Object> extendInfo;
private List<String> tags;
}
// 保存数据
HeroPackage pkg = new HeroPackage();
pkg.setExtendInfo(Map.of("color", "红色", "weight", 1.5));
pkg.setTags(Arrays.asList("电子产品", "二手", "9成新"));
heroPackageService.save(pkg);
// 查询结果:extendInfo和tags字段为null!

8.2 原理

// MyBatis默认只能处理基本类型
publicclassDefaultTypeHandlerRegistry{
publicDefaultTypeHandlerRegistry(){
        register(String.class, newStringTypeHandler());
        register(Integer.class, newIntegerTypeHandler());
        register(Long.class, newLongTypeHandler());
// 没有Map和List的处理器!
    }
}
// 复杂对象会被toString()处理
Map<String, Object> map = Map.of("key", "value");
String result = map.toString(); // "{key=value}" - 不是标准JSON!

8.3 解决方案:数据类型规范化处理

我们的共识是:能不用复杂字段就别用。如果必须用,就自己管序列化。

方案一:数据库字段类型规范化
  • 表里尽量只放基本类型

  • Map、List先拆成具体字段,或者转成独立表

  • 复杂场景在业务层处理转换

方案二:手动序列化处理
  • 确实需要存结构化数据时,先序列化成JSON字符串

  • 存入VARCHAR或TEXT

  • 查询时再反序列化

实施建议: 优先走方案一。只有在业务强依赖动态结构时,再考虑方案二,记得封装好序列化逻辑,别把JSON工具散落在业务代码里。


总结与思考

种种案例都在提醒我们:框架默认值是给理想环境准备的,到了生产就得重新审视。如果不了解内部机制,就很容易掉进坑里。

启示一:默认配置靠不住
开发环境通常是单机、低并发,默认配置自然没问题。可一上生产,容器化、分布式、高并发齐聚,默认值瞬间变成隐患。别指望框架“自动”处理所有边角料。

启示二:机制理解少不了
只有搞清楚框架怎么运转,才能提前发现风险;真出事时,也能快速定位。知其然而且要知其所以然。

启示三:方案要服务于环境
你在什么环境里跑,就得配什么策略。容器、K8s、云原生都在挑战旧有假设。没有银弹,只有适配。

关于作者,朱洪旭,侠客汇Java开发工程师。

想了解更多转转公司的业务实践,欢迎点击关注下方公众号:

跳转微信打开

一个能用的 AI Agent,是怎么“长”出来的?-- Prompt 调优篇

2025年11月21日 10:28

原创 有赞共享技术 2025-11-21 10:28 浙江

不是写一次提示词就完工,而是在反复测试、负优化、回滚、拆解中“长”出来的。本文来自一线团队的实战复盘:如何用量化评测驱动 Agent 迭代?为什么 Few-shot 用多了反而更差?怎样通过精简输入和职责拆分,让准确率和速度双双提升?

01 背景

最近几周,我们在 AITest 中增加了提速、归因等 Agent,目标是通过 AI 帮助测试人员提升效率、辅助决策。

开发这些 Agent 是非常快的,我们的第一版几乎只花了一两天的时间就完成了。

但是当我们开始真正评测这些 Agent,并且开始效果调优时,我们遇到了很多问题。 考虑到其他正在开发 Agent 时也会遇到类似问题,因此写这篇分享文档,希望能提供其他的开发者一些可借鉴的经验。

02 开始前的准备

2.1 定义成功的标准

推荐阅读:《定义你的成功标准 - Claude Docs》[1]在开始之前,就应该知道我们本次所开发的 Agent

  1. 需要做的事情是什么?

  2. 什么样才是符合预期的?

  3. 需要哪些输入?

  4. Agent 的输出什么?

2.2 准备评测用例集

尽快去做,这一步应该在做 Agent 刚开始就应该被考虑,无论用什么方式,多维表格还是文档,还是 excel,还是 langfuse,可测量是做 Agent 非常关键的一步

如果我们的 Agent 可被测量,那一定也同时意味着我们可以反复复现相同效果。

只要当 Agent 可以反复被测试且达到预期值时,这个 Agent 才能算相对稳定,如果只是本地随便跑两下,一旦到线上真实环境运行的时候,大概率就是效果不佳的。

量化效果不仅能帮我们冷静客观地找到问题,并且能在一堆失败 case 中找到共同点。

那么如何建立这样的评估体系呢?

第一步:我们需要清楚现在做的 Agent 要达到的目标是什么?效果是什么?他的输入信息是什么?

以归因为例: 目的是:基于测试报告找到真正失败的测试步骤并且说清楚错哪里了; 效果是:1. 定位准确的失败步骤;2. 输出准确清晰简洁的错误原因 输入是:1. 测试报告;2. 操作快照;3. 测试步骤

第二步:准备评测集

因为第一步,我们已经知道,Agent 需要什么(输入),并且产出什么(定位失败步骤和原因说明)

那么我们准备的评测集需要有:

  1. 一个失败的测试报告

  2. 人工提供预期定位的测试步骤和预期的错误原因

第三步:立刻开发 Agent 第一版(只要有大概输出结构即可)

第四步:把评测集用例挨个塞给 Agent(对错无所谓),输出第一版评估报告,创建多维表格

第五步:分析报告

主要需要分析几个问题

  1. 和预期是否相符?

  2. 失败的 case 原因是什么?有没有解决方案?

重复 3 - 5 直到达成预期指标

2.3 快速初始化提示词

推荐使用 AI 快速生成第一版系统提示词(这也是 Claude 推荐的做法)

我们手工编写系统提示词的第一版往往很低效,因为我们在初始阶段对目标结果是模糊的;另外,既然我们都已经在用 AI 了,那么应该更多的利用 AI 提升效率

我们在初期,已经明确了大致的目标(只是还未细化),因此,我们可以简单的将目标扔给 AI 让 AI 帮我们完成第一版提示词,快速进行量化评估

不必纠结第一版是否完美,跑通整个 Agent 流程(v0.1 Agent + 一个评测集 + 自动化跑评测数据)才是关键



    我正在做测试用例失败分析的助手,这个agent
    我会提供给这个agent 3个内容
    1. report 测试用例执行失败的报告详情(json数据)
    2. flow 测试用例的具体测试步骤(json数据)
    3. analysis 基于对测试报告执行的每一步进行的分析(json数据)


    ....

    03 提示词调优

    推荐阅读:《使用我们的提示词改进器来优化您的提示词 - Claude Docs》[2]

    3.1 改进提示词的提示词

    想不到吧?还有提示词的提示词 :) 我还是推荐用 AI 进行提示词改进(这种做法是目前社区中的主流),尽量不要手动调整系统提示词,原因有二: 一是系统提示词调优是快速多次的事情,可能从第一版到阶段性终版之间需要调几十轮提示词,如果人工调整,人力成本巨大费事费力 二是人工调整往往意味着效率低下,机加工往往比纯手工快很多倍,在快速迭代过程中,应该用机器的力量加速我们的 Agent 开发

    3.2 调优提示词模板

    回过头来继续聊改进系统提示词,在调整系统提示词的过程中,我们需要反复告诉 AI 几个内容:

    1. 我们现在的系统提示词

    2. 我们输入的内容

    3. Agent 输出的内容

    4. 需要调优的目标

    在我多次调优 Agent 的过程中,我发现几乎每次都需要这些内容,AI 才能帮助我们调优,因此我准备了一个简单的调优提示词

    以下提示词是万能模板,input 是输入的内容; output 是 Agent 输出的内容; system-prompt 是完整的系统提示词;存在的问题 部分可以描述当前存在的问题详细信息



      ## 提供给 agent 的 input 如下


      <input>
      </input>


      ## Agent 返回的 output 如下


      <output>
      </output>


      ## 系统提示词如下


      <system-prompt>
      </system-prompt>


      ## 存在的问题是

      04 提示词调优实践技巧

      4.1 经验一:结构性提示词

      4.1.1 确定目标(角色设定)

      推荐阅读:《通过系统提示给 Claude 赋予角色 - Claude Docs》[3]

      通过目标设定/角色设定,我们可以将 Agent 的工作限定在某个范围内,增强 Agent 的表现 Claude 文档中所说的是给 AI 赋予角色,但是在实际开发 Agent 的过程中,基于我个人的经验和理解,我认为并不是说一定要为 Agent 赋予某个角色,因为在某些 Agent 上他做的事情就是非常单一单点的,此时我们强行赋予角色的含义其实并不是很合适。

      更好的做法应该是将 Agent 的核心目标定义清楚即可,换句话说,并不是每个 Agent 都需要角色设定,角色设定只是为了帮助 Agent 更好的完成目标

      他们都能达到很好的效果表现。

        我会给你一个测试步骤执行的结果,以及他执行前后的快照(如果是打开页面的测试步骤可能只有一张快照)我希望你能帮我判断一下测试步骤执行是否符合预期。

          你是一个专业的测试用例失败分析助手,负责分析自动化测试执行失败的根因,并输出标准化、结构化的失败摘要与改进建议。你的结论将用于下游系统的程序化处理,因此必须严格遵循输出格式与字段含义。

          4.1.2 思维链(CoT)/任务拆分

          推荐阅读:《让 Claude 思考(思维链提示)以提高性能 - Claude Docs》[4]

          思维链和任务拆分的本质是帮助 Agent 将任务拆分成更小的颗粒度,逐步完成,这样有助于提升最终表现

          以 失败原因总结 Agent 为例,由于入参是所有的测试步骤执行结果,我们需要告诉 AI 怎么样准确找到失败的步骤,并准确的描述失败原因,因此我们在提示词中加入了以下内容

          这能帮助 Agent 更好地理解入参并进行失败原因分析,在实际测试中,它避免了 Agent 直接采用最后失败步骤作为失败原因的情况



            ## 生成逻辑步骤(算法)


            1. 遍历 analysis 数组(按已有顺序,不重排)。
            2. 对于每个步骤,若 passed=false,需对比 refAnalysis 中同 index 步骤的 summary 和表现:
               - 若本次表现与历史成功表现基本一致(如都为“前后截图一致”且历史被判定为通过),则该步骤判定为通过,继续下一个。
               - 若本次表现与历史成功表现有明显差异(如历史成功时页面有变化/目标达成,本次未达成),则判定为失败,作为首个失败步骤。
            3. 选取第一个实际失败步骤,提取:
               - index -> startFailNumber
               - 类型 -> startFailType(按前述优先级推断)
               - simpleFailReason:结合本次与历史成功表现的差异,提炼为“未进入 XXX 页面”、“未显示 XXX 内容”等具体描述。
               - summary:整合分析+建议,突出与历史成功表现的对比。
            4. 返回 JSON。

            4.1.3 使用 XML 格式

            使用 XML 格式我个人最大的感受有几点:

            1. 顺序无关,我们不再需要保证严格的提示词顺序,XML 通过标签包裹的形式,我们甚至可以将一些信息放在末尾,在其他位置引用

            2. 更灵活的引用,例如提示词中可以写: 请根据 <input> 中所提供的内容进行分析...,而 <input> 部分,我们可以放在提示词的任意部位,可以是开头也可以是结尾

            3. 局部更新,当我们开发了多个 Agent 之后,会发现一件很头痛的事情,即每次修改提示词就会改变整个提示词,那么通过 XML 我们可以将一些固定内容排除掉,比如说本次我们有 <examples> / <instructions> 这些 XML 标签时,我们可以避免更新里面的示例内容,专注与调整提示词的其他部分

            4.1.4 使用示例(Few shot)

            推荐阅读:《使用示例(多示例提示)来引导 Claude 的行为 - Claude Docs》[5]

            使用示例可以帮助我们提升 Agent 表现,尤其是当我们的 Agent 已经能在评测中取得 60-70 分时,再往上提升发现通用提示词无法解决的边缘 case,可以通过示例在教 Agent 怎么做才是对的

            比如我们之前在做提示词转测试步骤的 Agent 时,提供了一些示例来帮助 Agent 理解一些特殊场景



              ## 处理示例


              ### URL 操作处理


              // 输入:打开 URL:https://store.youzan.com/v4/channel/xhs/dashboard
              // ⚠️ 重要:必须使用 aiAction 类型,不能使用 nativeUrl 类型
              {
              "flows": [
                  {
                  "type": "aiAction",
                  "prompt": "打开 URL:https://store.youzan.com/v4/channel/xhs/dashboard",
                  "action": {
                  "type": "url",
                  "url": "https://store.youzan.com/v4/channel/xhs/dashboard",
                  "weappPath": ""
                  }
                }
                ]
              }

              4.1.5 精简提示词

              上述提到的所有提示词技巧,不应该无脑加到提示词中,通过我个人的 Agent 开发经验来看,系统提示词上下文越大,Agent 响应速度越慢

              比如说当你使用思维链时,的确能提升准确度,但是代价是响应变慢;当你使用示例时,的确能提升单个 Case 的表现,但是代价是过拟合的几率增加

              因此,保持提示词精炼也是编写提示词的一个重要考虑

              以下为测试用例提速 Agent 精简提示词前后的响应速度表现

              优化前,平均响应时间都在 ~20s/次,tokens消耗 ~30k
              优化前,平均响应时间都在 ~20s/次,tokens消耗 ~30k
              优化后,平均响应时间降低至 <10s/次, tokens 消耗降低至 ~3k(表现相同)
              优化后,平均响应时间降低至 <10s/次, tokens 消耗降低至 ~3k(表现相同)

              4.2 经验二:减少系统提示词中的 Few shot

              过多的 Few shot 会出现过拟合的问题,导致我们编写的系统提示词无法普适到更多的用例中。

              也许我们增加了某个 Few shot 之后,马上之前失败的一个指定 case 立刻就会成功,但这不是真实的,当我们去跑更多的 case,会发现 Agent 出现很死板的回答。

              4.2.1 具体案例

              我们在 Agent 提示词中提供了一个 case,举例说明 SG781228015809656268 表示 操作编号

              由于这个需要业务理解,Agent 才能知道 SGxxxx 是 操作编号,那么最快的方式就是添加 Few Shot 让 Agent 能理解

              预期是希望 Agent 在发现 css 选择器如果是这样的值,则优化成 操作编号

              4.2.2 问题表现

              但实际情况是,我们发现,增加这个 Few Shot 之后,一旦 Agent 识别到 SG781228015809656268 无论他是不是在 选择器字段中,都无脑优化成 操作编号 ,甚至是操作步骤里输入内容的值都优化掉了。

              但是我们并没有告诉 Agent 要优化 value 这个字段。

              4.2.3 推荐做法

              1. 0 Few shot: Agent 初期,系统提示词不应该有 Few shot 最好一个都不能有(尽量用逻辑表述让 Agent 理解怎么做才是对的)

              2. 增加 Few shot 的时机: 当系统提示词已经能做对大部分 case 时,如果要再进一步提升,可以增加少量少量的 Few shot

              3. 模糊具体名词: 在编写 Few shot 的时候,尽量不要模糊掉一些具体词汇,比如某某商品、xxxx 名称之类的具体词最好不要出现

              4.3 经验三:精简输入

              起初我们在做 提速 Agent 的时候,我们希望将完整的测试报告和测试步骤全部提供给大模型,希望大模型能自己定位到所有需要提速的步骤,然后一次性优化掉。

              这里我们犯了一个很大的错误,我们希望 Agent 一次性完成整个任务 这样做的结果是:

              1. 分析不全:有些测试用例,需要同时优化 5 个测试步骤,但实际上 Agent 只识别到 4 个测试步骤。

              2. 说谎:当我们调整提示词,需要 Agent 先分析需要优化几个步骤,再对这几个步骤进行优化的时候,我们发现 Agent 会说已经优化好了,但实际上一个步骤都没有优化。

              3. 注意力不集中:当 Agent 的确分析对了 5 个步骤,并且也优化了 5 个步骤之后,有时候 Agent 会出现根本没有基于测试报告的信息进行优化,比如需要优化的是第二步,他获取的是第三步测试报告中的信息,优化第二步

              4. 捏造事实:当我们进行更严格的系统提示词限制时,Agent 认为他无法优化,但他又不能违背提示词规则,他会凭空创造一些选择器,填充到需要优化的步骤中

              这些问题反复会出现,无论你调整多少轮提示词,都无法做好,给人的感觉就像是掺了水的沙子做的雕塑,看着是一个合理的形状,但是稍微一用力就碎了。

              4.3.1 具体案例

              自优化 Agent 输入:

              1. 测试用例执行报告(report)

              2. 测试步骤(flow) 预期输出: json 格式数据 { "summary": "<string, 对本次优化总结>", "needUpdate": "<boolean, 是否需要更新>", "newFlow": "<array, 优化后的 flow>", "fallbackAIFlow": "<array, 降级到 AI 执行的 flow>" }

              4.3.2 问题表现

              一:非 JSON 格式,Agent 输出时在末尾跟着一些解释性内容

              二:从 output.summary 中可以看到 Agent 认为有 4 个降级步骤,但实际上有 7 个

              三:从 output.summary 中可以看到 Agent 认为有两个可以优化,另外 2 个无法优化。但实际上对比 oldFlow 和 newFlow 我们发现 Agent 优化了 3 个步骤

              4.3.3 推荐做法

              之后我们开始思考如何解决这个问题,我们猜测应该是给的内容太多了,我们把需要优化的步骤和不需要优化的步骤都提供给了 Agent,在 Agent 的输入中掺杂了很多不必要的信息

              那么,有没有可能进一步减小 input 呢?我们想到,因为测试步骤是一个数组,测试报告中的每个步骤也是一样。

              那么,我们是否可以通过程序代码,先做一遍筛选,只将需要优化的步骤以及测试报告中对应的执行结果告诉 Agent。

              这样,Agent 得到的必定是要优化的测试步骤,它再不需要判断得到的信息中哪些要优化,哪些不要优化,只要专注于做一件事情——把这个测试步骤尽可能优化好。

              这样做了之后,我们发现 Agent 输出的质量有了明显的提升。 同时,我们惊喜的发现,不仅是质量提升,响应速度也有明显提升,从原先 > 60s 响应,锐减到 6s 响应,10x 提升

              beforeafter

              所以,精简输入是非常有用的方法,仅把最小必要信息提供给 Agent,不仅能提升输出质量还能提升响应速度。

              所以,为什么会出现 ReAct,也是有迹可循的对吗?前人早已总结了经验,不应该企图让 Agent 一次性完成工作

              4.4 经验四:拆分更小的 Agent

              一个 Agent 只做一件事情,我的意思是说,一个 Agent 只做一个小点 刚才,我们已经表达了精简输入的收益很大,但是假如你的 Agent 做很多事情,它既要分析、又要生成、最后又要总结某些内容,那么可以基本断定,这个 Agent 很难调优。

              缩小单一 Agent 的职责范围,已经是目前比较主流的一种做法

              4.4.1 推荐做法

              我们在做失败归因的时候(失败归因是指:通过使用 LLM 找到测试报告真正失败的测试步骤。一些情况下,上报失败的步骤并不是真正导致失败的根因,可能是之前的步骤点击没有生效导致的,我们尝试用 LLM 找到根因步骤,并告诉测试人员,减少测试人员人工检查失败原因的时间)

              就将整个归因目标拆分为 4 个 Agent 实现,每个 Agent 做很小一块工作,最后我们通过代码将整个流程串起来

              Agent

              能力描述

              分类师(Classifier)

              失败错误分类

              Diff 检查员 (Inspector)

              Diff 步骤详细失败原因分析

              分析师(Analyzer)

              测试步骤执行结果分析

              协调者(Coordinator)

              基于 Diff 和测试步骤执行结果 -> 总结失败原因

              这样做的好处是:

              1. 单个 Agent 更容易调优

              2. 响应速度更快

              3. 提示词可以更加精准

              4. 影响面可控(我们知道 Agent 系统提示词,一次改动就彻底推翻了,如果我们将所有工作都在一个 Agent 中完成,那么当我们需要迭代 Agent 的时候,就会非常困难)

              4.5 经验五:考虑 Agent 回滚

              4.5.1 保管好老版本的系统提示词

              Agent 和写代码完全不一样,每一次系统提示词更新就是对上一次的全部推翻( 所以说量化效果很重要:( 上次对,这次不一定就对了 )

              所以,务必要创建一个临时的文件,保存好上一次的提示词,这样我们在遇到负优化的时候可以轻松的回撤到上一个版本

              4.5.2 接受无法做到 100 分的事实(甚至 80 分)

              从我们的经验来看,绝对采纳率一旦上到 70 之后(可能 60+就开始了),后面的系统提示词调整,大概率会出现负优化,会反复卡在一个点位上优化不上去,加把劲就可能直接跌到 30%采纳率。

              所以,说真的,Agent 开发,比 E2E 测试还要难,E2E 测试起码还能控制变量进行测试,对就是对,错就是错,我们可以做到整个用例集 100%通过。

              但是 Agent 评测,我们会发现好的 Agent 大概能覆盖大部分常见场景,但是一旦试图让他全部做对的时候,一定会出现过拟合(其实有据可循的,要么就是加 Few shot,那就是思维僵化;要么就改更复杂的系统提示词,描述复杂不清晰后就开始负优化)

              这时候,我们的重心不应该再局限于提示词调优上了,而是应该通过其他方法去提升效果比如说 ReAct 、 RAG

              另外,在 Claude Docs 中有很多有用的方法,比如说提到过 N 次最佳验证 的方式进行准确率提升

              N 次最佳验证:多次使用相同的提示运行 Claude 并比较输出。输出之间的不一致可能表明存在幻觉。

              05 写在最后

              提示词技术还在快速进化,每天都有新方法出现。我们要保持开放心态,多动手实践,多交流心得。

              重点:好的 Agent 不是一次设计到位的,而是在不断测试、迭代、优化中“长”出来的。

              参考资料

              [1] 

              《定义你的成功标准 - Claude Docs》: https://docs.claude.com/zh-CN/docs/test-and-evaluate/define-success

              [2] 

              《使用我们的提示词改进器来优化您的提示词 - Claude Docs》: https://docs.claude.com/zh-CN/docs/build-with-claude/prompt-engineering/prompt-improver

              [3] 

              《通过系统提示给 Claude 赋予角色 - Claude Docs》: https://docs.claude.com/zh-CN/docs/build-with-claude/prompt-engineering/system-prompts

              [4] 

              《让 Claude 思考(思维链提示)以提高性能 - Claude Docs》: https://docs.claude.com/zh-CN/docs/build-with-claude/prompt-engineering/chain-of-thought

              [5] 

              《使用示例(多示例提示)来引导 Claude 的行为 - Claude Docs》: https://docs.claude.com/zh-CN/docs/build-with-claude/prompt-engineering/multishot-prompting

              阅读原文

              跳转微信打开

              ITCP联盟第五届技术大会【AI基建专场】报名火热开启!

              2025年11月19日 15:03

              人才发展中心 2025-11-19 15:03 北京

              以下文章来源于:Qunar技术沙龙

              Qunar技术沙龙

              Qunar技术沙龙是去哪儿网工程师小伙伴以及业界小伙伴们的学习交流平台。我们会分享Qunar和业界最前沿的热门技术趋势和话题,为中高端技术同学提供一个自由的技术交流和学习分享平台。

              大会介绍 在AI从探索走向深度融合的关键阶段,可靠的基础设施与成功的场景应用已成为推动业务创新的双

              大会介绍

                    在AI从探索走向深度融合的关键阶段,可靠的基础设施与成功的场景应用已成为推动业务创新的双引擎,越来越多的企业在AI实践中取得了可喜的阶段性成果。

                    秉持“近一步,更进一步”的精神,本次ITCP联盟技术大会特设【AI基建专场】与【AI应用专场】,旨在搭建汇聚AI前沿理念与实战经验的交流平台,并携手联盟内各公司,共同展示在AI基础设施建设与应用落地方面的优秀成果与最佳实践。

                    本次【AI基建专场】,我们特别邀请了去哪儿旅行、转转、核桃编程的技术专家,他们将详细分享在智能体平台建设、研发流程自动化、强化微调、UI自动化测试系统等AI项目中的具体做法、遇到的挑战以及克服这些挑战的策略,帮助参会者更好地理解AI基建建设中的实践经验与最佳路径。

              【时间】11月29日(周六)13:45-17:50

              【地点】北京市维亚大厦8F大会议室

              报名直通车

              报名时间

              11月19日-11月25日

              报名方式

              扫描二维码,提前预定席位

              现场席位有限,先到先得呦

              精彩预告

              大会讲师及主题简介

              马阳阳

              去哪儿基础平台Java组负责人

              负责去哪儿研发效率、质量类平台建设。近年探索 AI Agent 应用,主导自研公司级智能体平台 QMoss,已在内部实现规模化落地。曾担任公司内外多场技术大会明星讲师。

              AI 小软件革命:

              智能体平台驱动的万级 PD 提效实践

                   为解决产运团队在日常工作中面临的大量重复、低价值的任务痛点,我们抓住大模型技术浪潮,探索出“AI 小软件”这一提效新范式。本次分享将阐述我们的核心解决思路:通过构建“智能体平台 + 多维表格”的黄金组合,实现 AI 应用的低门槛、规模化落地。

              听众收益:

              a、AI Infra 团队-如何建设智能体平台并大规模落地

              b、产运团队-掌握 AI 小软件技能,提升工作效率

              c、研发团队-AI 落地的场景挖掘思路及一套新研发模式

              分享大纲:

              1. 从人力到智能:LLM 引爆运营新纪元

              2. 打造智能中枢:智能体平台建设实践

              3. 业务创新实践:AI 小软件的多场景落地

              4. 价值与经验:智能体平台的提效成就

              5. 迈向未来:自进化的 AI 小软件生态

              车天博

              转转算法专家

              负责转转大模型算法的后训练、百晓生问答(质检答疑)和智能客服应用,近期探索图文多模态问答。

              强化微调(RFT)在转转后训练中的应用

              在大模型广泛应用于业务场景的背景下,微调是最常见的优化方法。然而,传统微调在带来性能提升的同时,也会引入诸如通用能力下降(遗忘现象)与生成内容重复(复读机现象)等负面影响。本次分享将聚焦如何通过强化微调(RFT)技术优化模型后训练流程,更深入地挖掘数据潜在规律,并有效抑制上述常见问题,为大模型在业务中的稳定落地提供更可靠的技术路径。

              通过本次分享,听众将系统性了解微调中常见问题的成因及应对思路,掌握 RFT 技术方法,并获得一套后训练体系的优化与业务模型效果提升的可借鉴解决方案。

              分享大纲:

              1. 强化微调(RFT)技术简介

              1.1 强化微调训练流程

              1.2 强化微调应用场景

              2. 强化微调在百晓生(质检答疑)问答中的应用

              2.1 百晓生业务简介

              2.2 强化微调提升问答准确率

              2.3 效果评估与展望

              杨洪

              核桃编程资深前端开发

              主导核桃编程复杂组件库与通用业务模块的设计与实现,负责直播教师端、学生端相关系统、内部业务系统的核心模块开发与重构升级。

              喜鹊 AI助手:从需求到上线的“自动驾驶”

              在智能研发的浪潮下,如何让研发流程更加高效与智能化成为众多公司关注的核心议题。喜鹊工具应运而生,它覆盖了需求全生命周期,通过 AI 测试用例生成、AI 需求遗漏分析、AI Code Review 等核心能力,实现研发流程的全面智能化,并支持自动拉群、技术方案集中管理、一键回填上线信息、构建信息直达测试等功能。

                   依托五大 AI 能力,喜鹊工具实现了全流程的自动化与智能提效,操作零门槛,使研发流程节点人工操作量减少 50%。

              听众收益:

              a.产品经理:需求文档质量提升,减少反复澄清。

              b.开发工程师:提升代码提测质量,将问题前置。

              c.测试工程师:测试用例生成节省50%工时。

              d.整个团队:沟通成本大幅降低,机器人自动传递关键信息。

              分享大纲:

              1. 应用场景介绍

              2. 可行性方案

              3. dify实践与优化

              4. 长期演进:由辅助转向主导,自适应迭代

              崔宇

              去哪儿大前端中心

              用户增长负责人

              负责去哪儿用户增长前端工作,负责公司 UI 自动化测试系统 TARS 平台及用户行为回溯平台,有多年前端客户端开发经验。

              去哪儿TARS AI 自动化测试系统

              在 AI 浪潮的推动下,UI 自动化测试作为提升测试效率的重要手段,一直备受业界关注。尽管市面上已出现了众多借助 AI 实现 UI 自动化测试的工具与案例,看似功能完善,但在实际落地过程中仍面临诸多挑战。本次分享将深入介绍去哪儿在推进 AI 自动化测试落地过程中的实际问题与应对经验,带来一线的实践洞察与思考。

              分享聚焦真实痛点与实战经验,内容干货满满。听众将不仅能够全面了解 AI 自动化测试方案的整体架构思路,还能掌握实践中常见问题的解决路径,为未来的测试体系建设提供有益参考。

              分享大纲:

              1. AI 为 UI 自动化测试带来的新机遇

              2. 实际落地遇到的问题

              3. 去哪儿 UI 自动化测试实践经验

              4. 落地场景案例

              5. 总结展望

              大会流程

              汇聚 AI 先锋,共探技术前沿;

              这场干货盛宴,等你赴约!

              跳转微信打开

              自动驾驶系统的局部最优陷阱

              2025年11月17日 17:13

              原创 刘兰个川 2025-11-17 17:13 浙江

              曾经推动进步的海量廉价数据,如今反而成了前进的桎梏。

              作者:刘兰个川(Patrick Liu)

              作者毕业于北京大学物理学系,目前供职于英伟达自动驾驶团队,撰稿仅代表本人立场。

              01

              技术演进之路


              自动驾驶技术这些年的进步有目共睹。

              十年前,系统主要依赖2D物体检测和语义分割来理解环境。随后,单目3D检测和车道线估计技术的出现,让系统能从单一摄像头中推断出深度与结构。发展到今天,多摄像头鸟瞰图感知技术(Multi-Camera BEV Perception)已经能将车辆周身环境融合成一个无缝的360度全景画面。

              “看”得越准,便“想”得越远。

              感知能力的进步也带动了预测和规划模块的发展。端到端驾驶系统应运而生,它能将视觉信号直接映射为控制指令,其驾驶表现比传统的规则系统更平滑、更自然,也更接近真人。

              这一切的背后,都离不开一个核心引擎:数据飞轮。其运作流程“部署→路测→挖掘→训练→再部署”构成了一个驱动系统持续进化的强力闭环。

              图:一个2019年的典型的数据飞轮,引自Andrej Karpathy的ICML主题演讲,2025年的数据飞轮没有太大变化

              与学术界聚焦固定数据集的研究范式不同,工业界的逻辑是让系统能力随数据规模而生长。一旦评测发现系统的薄弱环节,便能自动挖掘海量相似场景投入训练。

              对于特斯拉、理想、小鹏这类拥有庞大真实车队的公司而言,这些数据正是用户日常行驶中产生的天然副产品,收集成本极低。车队的每一公里行驶,都在为模型注入新的养分。

              特斯拉将这一模式发挥到了极致:通过数百万辆行驶中的车辆,它构建了人类历史上可能规模最庞大的现实世界机器学习闭环。这一闭环或许确实能将安全水平提升至超越人类驾驶员的平均值,但其底层逻辑并未改变:系统的能力源于对大量数据的记忆,而每一个故障案例,都依然需要一个对应的数据补丁。

              这个闭环设计精巧,却也隐含着它的终极和局限。

              02

              数据补丁的局限与出路


              如果每次遇到特殊路况,第一反应都是“堆数据”,那我们打造的终究只是一套“擅长打补丁的系统”。

              这类系统看似能闯过不少复杂关卡,本质上却依赖机械记忆而非真正理解,因此难以举一反三。一旦现实场景在已有数据的边缘发生细微变化,哪怕只是光照、天气或道路布局的差异,模型就可能再度失灵——它们是训练出来的“场景专家”,却成不了灵活应变的“通用司机”。

              随着自动驾驶的运营设计域(ODD)不断拓宽,需要修补的漏洞数量几乎呈指数级增长。孟买的复杂换道、柏林的高速汇入、东京的窄路调头……每个问题都要经历独立的数据采集、标注和模型迭代。系统规模确实在变大,但我们“打补丁”的速度却远远跟不上新问题出现的节奏。

              更严峻的是,容易解决的场景逐渐被覆盖殆尽,剩下的往往是数据稀缺、逻辑复杂的“硬骨头”,收集成本急剧上升,最终导致系统性能陷入平台期。

              曾经推动进步的海量廉价数据,如今反而成了前进的桎梏。

              当前的自动驾驶系统,本质上是一本写满“如果-那么”规则的电子操作手册。在熟悉的场景中它们游刃有余,一旦跨出已知边界就显得力不从心。

              它们精于重复,却弱于泛化。现有技术路线基于一个美好却脆弱的前提:所有问题都能通过“投喂”更多数据,在有限时间内解决。然而,当系统面对那些真正罕见、完全超出其训练经验的“黑天鹅”事件时,这条路径便走到了尽头。

              要实现真正的全自动驾驶,我们必须转向构建具备通用法则理解能力的系统。这样的系统能够推理他车意图、洞悉因果链条、理解物理约束与社会惯例,从而突破数据本身的局限。唯有掌握这种“举一反三”的认知能力,才能系统性地解决长尾难题。

              操作手册式的系统注定无法规模化,“场景专家”也永远走不出舒适区。这正是自动驾驶技术面临的局部最优困境:

              我们在一条看似正确的道路上不断前进,却最终抵达了一座无法逾越的高墙之下。

              03

              机器人学的逆境启示


              自动驾驶领域一直享受着廉价数据的“红利”,机器人学却长期面临着“数据饥荒”的考验。

              正如英伟达GEAR团队负责人Jim Fan在近期演讲中指出的,如果说互联网规模的文本是大语言模型赖以发展的“化石燃料”,那么机器人学几乎是在“无米之炊”的困境中前行。这个领域依赖的是珍贵的“人力燃料”——需要专家进行繁琐的遥控操作,而机器人本身能够自主工作的时长又极为有限。

              面对这种先天不足,机器人学家们被迫在算法层面寻找突破口。他们打造的模型必须具备“小样本学习”的能力:既要能消化多种传感器传来的异构信息,又要能进行跨模态的推理,还要善于从有限的真实数据中提炼出普适的规律。

              这种严苛的要求,反而催生了视觉-语言-动作模型(VLA)的突破。VLA模型的精妙之处在于,它既继承了互联网预训练赋予的常识推理能力,又能将这些知识与真实的传感器观测相结合,最终转化为精准的底层控制指令。在这个过程中,语言充当了“思维链条”的角色,让机器人在行动之前能够进行必要的逻辑推演。

              颇具讽刺意味的是,正是这种数据的极度稀缺,反而锻造了机器人学独特的竞争优势——在有限信息中提炼智慧的能力。当自动驾驶还在依赖数据量的堆砌时,机器人学已经走上了一条更具普适性的道路。

              04

              语言智能体的启示


              在数字世界的另一端,语言智能体正以另一种形态快速发展。虽然它们没有物理实体,无法像自动驾驶汽车或机器人那样直接与环境交互,但它们的演进轨迹同样为我们提供了宝贵镜鉴。语言模型预训练的成功经验揭示了一个关键认知:构建真正可用的智能体是一项系统工程,其复杂程度远超训练单个模型。

              CoALA框架集成了数十年认知系统研究的精华,并针对大语言模型时代进行了重新设计。这个框架清晰地勾勒出智能体的核心架构:长期记忆、工作记忆与外部环境构成的三位一体。在这个体系下,智能体通过感知获取环境信息,借助检索或推理整合知识,基于内在的决策逻辑做出判断,最终通过行动改变环境或更新自身的记忆体系。

              图:语言智能体的架构图,引自Cognitive Architecture of Language Agents论文

              值得深思的是,无论是模块化设计的传统自动驾驶栈,还是端到端的新一代系统,都可以纳入这个统一框架来分析。它们确实具备了智能体的基本构件——感知、记忆、决策、执行,但仔细审视就会发现一个关键缺陷:深度推理能力的缺失。

              这种对比直指问题的核心:当我们在自动驾驶系统中不断追求更高的感知精度、更大的记忆容量、更优的决策规则时,是否忽略了最根本的认知能力——推理?

              语言智能体的发展路径给我们敲响了警钟:真正的智能不仅在于知道“是什么”,更在于理解“为什么”。

              图:各类语言智能体和自动驾驶系统的对比,扩展自Cognitive Architecture of Language Agents论文

              05

              自动驾驶2.0到3.0:范式跃迁


              业界常将端到端的“学习型驾驶”范式称为自动驾驶2.0,其核心理念是从海量数据中直接学习驾驶能力。它用一个能够将像素直接映射为控制信号的神经网络,取代了自动驾驶1.0时代需要手工构建的感知、预测和规划等独立模块。

              英伟达是这条技术路径的早期开拓者,而特斯拉的FSD系统也遵循着相似的逻辑:不依赖人工设定的明确规则,而是通过不断积累的数据和持续的模型迭代,实现系统能力的渐进式提升。

              尽管这种方法取得了令人瞩目的进展,但其发展瓶颈也已显现。当系统面对训练数据中罕见或完全未见的场景时,往往表现得束手无策。究其根源:自动驾驶2.0本质上是数据驱动,而非推理驱动。

              要突破这一局限,我们必须转向以推理为核心的新架构。

              这个即将到来的新阶段——自动驾驶3.0,旨在打造这样的系统:它不仅能够从历史数据中学习,更能在实际运行中进行逻辑推断、提出合理假设,并动态调整自身行为。

              06

              自动驾驶3.0的四大支柱


              • 推理能力

              推理的实质是在运行过程中动态创造新知识,这是一种基于理解的推断能力,而非简单的模式匹配。它使系统能够建立假设、推演不同方案的可能结果,并在信息不完备的情况下做出符合因果关系的决策。

              即使在那些不需要复杂推理的场景中,这种能力也能显著提高数据的利用效率,降低对大规模重复训练的依赖。

              • 常识性认知

              一个具备推理能力的智能系统,必须掌握人类在日常生活中积累的那些不言自明的知识——我们称之为常识。它需要懂得“雨天路滑应提前减速”、“行人徘徊在斑马线旁可能准备过马路”,以及“车辆在出口车道减速很可能是要驶离高速”。

              • 长时程记忆

              真实的驾驶决策建立在数分钟的时间维度上,而非单个瞬间。

              一个合格的驾驶系统必须能够记住刚刚发生的事件(比如前方道路突然封闭,或者旁边车辆强行并线),并据此调整后续的驾驶策略。这就要求系统具备持续存在的长时程记忆,能够在整个行驶过程中保持对环境和决策上下文的理解。

              • 解释与交互

              自动驾驶绝不能停留在“黑箱”状态。为了赢得用户信任,系统必须能够解释自己的行为逻辑(例如,“我减速是因为检测到前车刹车灯亮起”),同时理解人类的自然指令(比如,“在下一个路口的咖啡店停车”)。解释能力建立透明与信任,交互能力则让机器智能真正为人所用。

              07

              从代码,到数据,再到推理


              自动驾驶的决策体系的演进经历了三个鲜明的阶段:

              • 自动驾驶1.0是代码优先:这一阶段的决策逻辑完全由工程师手动编写——成千上万行的“如果-那么”规则、启发式判断与优化算法,构成了系统的“大脑”。虽然能在特定场景下有效运转,但整体系统脆弱且僵硬。

              • 自动驾驶2.0转向数据优先:基于庞大车队收集的真实驾驶数据所训练的端到端模型,逐步接管了各个驾驶模块。系统驾驶风格因此变得更平滑、更类人,但其智能本质上仍是对所见数据的“高级模仿”,难以超越训练集的范围。

              • 自动驾驶3.0将是推理优先:模型不再仅仅记忆数据,而是开始内化驾驶规则、理解事件间的因果关系,并有效利用记忆进行思考。这将赋予系统真正的“外推”能力——即使面对从未见过的场景,也能基于理解做出合理的决策。

              如果说2.0的精髓是“熟能生巧”,那么3.0的目标就是“融会贯通”。

              这一范式转变已初现端倪。英伟达在2025年10月发布的Alpamayo-R1模型,便将显式的因果推理与轨迹规划整合进一个统一的VLA架构中。无独有偶,特斯拉在ICCV 2025及近期财报会上也明确表示,其下一代FSD系统将是一个端到端且推理增强的驾驶智能体。

              这些不约而同的战略转向,昭示着一个新共识:自动驾驶的未来,正从“用数据打补丁”迈向“用推理求突破”。

              08

              为什么语言至关重要


              虽然推理能力本身不局限于语言,但在现有的所有信息模态中,语言无疑是技术最成熟、控制最精准、且扩展性最强的载体。大语言模型的出现,已经将语言从单纯的交流工具,升维为一个支撑智能的基础设施——这套设施已经初步具备了实现自动驾驶3.0所需的核心能力。

              • 推理:大语言模型是第一批展现出“涌现”推理能力的人工智能系统。尽管多模态推理的研究日新月异,语言在其中依然扮演着不可替代的“思维骨架”角色。

              • 常识:语言是我们通往人类集体智慧最宽广的桥梁。大语言模型是目前唯一能成功从互联网级别的数据中,有效提炼出人类常识的知识蒸馏系统。相比之下,视觉等模态的预训练至今仍面临“能识别,难理解”的瓶颈。

              • 记忆:语言天然是经验的容器。瞬息万变的驾驶体验,可以通过语言被凝结成一段段可追溯、可解读的“叙事日志”。系统能够随时调阅这些持续滚动的上下文,就像现代智能体框架(如LangGraph)通过分层摘要和检索来高效管理记忆一样。

              • 解释与交互:语言生来就具备可解释的基因。一个统一的语言接口,就能完成决策解释、指令遵从、意图对齐等一系列关键任务,让机器与人的协作变得自然流畅。

              语言或许不是自动驾驶的“终极答案”,但它无疑是当下最可行的路径。它为我们搭建并验证“推理优先”的系统架构,提供了一条清晰且坚实的工程栈道。

              人类语言并非偶然的造物,而是数百万年认知进化锤炼出的工具。正如研究员姚顺雨所言:“语言是人类为了泛化而发明的工具。”

              在大语言模型的推动下,它已成为我们构建认知系统最得力的接口。即便未来具身AGI会引入新的交互模态,语言也仍将作为智能的核心骨架,是所有理解得以构建、分享与传承的基础。

              09

              认清语言的边界


              当然,语言并非自动驾驶的万能钥匙。它善于处理高层决策,例如规避高风险行为(如快速变道加塞、跟车太近不刹车),也能理解复杂的长尾场景(道路封锁、临时标志)。

              然而,语言模型难以解决细微的运动控制控制问题,比如在湿滑路面上精确控制刹车,或在急弯中规划最优轨迹。这类问题仍需在自动驾驶2.0的框架下,通过高质量的数据驱动方法来解决。

              一言以蔽之:我们必须在2.0的层面上把“车开稳”,才能在3.0的层面上让“车开好”。

              10

              跳出局部最优


              到了“推理时代”,我们需要的数据也变了。不再是同一种情况的无限重复,而是富含推理过程的数据:

              • 决策背后的思考链条:不仅记录行为,更要捕捉人类做出该决策的完整推理过程;

              • 语言引导的示范教学:通过自然语言指令,演示如何在不同情境中分析、判断与执行;

              • 反事实推演训练:系统性地探讨“如果当时选择另一条路径,结果会怎样”的假设性问题;

              • 长程记忆的构建与使用:模拟人类在持续行驶过程中对关键信息的记忆、提取与运用。

              这意味着,我们的核心任务从标注“发生了什么”,转变为解读“为何这样发生”。

              如果你也身处自动驾驶或具身智能领域,现在也许是时候审视自己的技术路线了:

              • 我们是否陷入了“用数据解决数据问题”的循环?

              • 系统的“情境记忆”能持续多久?它以何种方式影响后续决策?

              • 假如我们停止无休止的数据修补,转向构建真正的推理能力,整个系统会发生怎样的质变?

              自动驾驶的下一轮突破,不会来自又一个更大的数据集。现在,或许正是我们共同跳出这个舒适区的时刻。

              致谢

              感谢与赵京伟(小米)、陈龙(前Wayve,现小米)、詹锟(理想汽车)和José Álvarez(英伟达)的深入交流,他们的见解为本文提供了重要启发。

              参考资料

                The Physical Turing Test: Jim Fan on Nvidia's Roadmap for Embodied AI

                张小珺Jùn|商业访谈录: 对OpenAI姚顺雨3小时访谈:6年Agent研究、人与系统、吞噬的边界、既单极又多元的世界

                Ilya Sutskever full talk at NeurIPS 2024 Vancouver 15/12/2024

                Cognitive Architectures for Language Agents

                ReAct: Synergizing Reasoning and Acting in Language Models, ICLR 2023

                RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

                A Crash Course of Planning for Perception Engineers in Autonomous Driving

                End to End Learning for Self-Driving Cars, Nvidia

                Reimagining an autonomous vehicle, Wayve

                Memory Overview, LangChain

                A Brief History of Intelligence: Evolution, AI, and the Five Breakthroughs That Made Our Brains

                Workshop on Knowledge-Intensive Multimodal Reasoning, ICCV 2025

                Thinking with Images for Multimodal Reasoning: Foundations, Methods, and Future Frontiers

                Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail, Nvidia

                Tesla's approach to Autonomy, ICCV 2025

                Tesla Q3 2025 Financial Results and Q&A Webcast

                附录

                长期记忆:智能驾驶的认知基石


                缺乏持续的记忆,任何复杂的推理都难以立足。

                让我分享一个亲身经历。在硅谷的一个夜晚,我与同事驱车返回公司时,发现主干道因夜间施工全部封闭。更麻烦的是,导航应用因数据更新延迟,提供的绕行路线完全无法通行。

                我们连续尝试了两条备选路线,都在施工路障前被迫折返。最终的成功来自记忆与实时推理的协同作用:我们需要准确记住已经证实不可通行的路口,同时根据实时观察到的路况,动态优化新的行驶路径。经过十分钟的第三次尝试,我们终于找到了有效的绕行方案。

                这正是人类驾驶员的优势所在:我们的决策建立在分钟级别的时间维度上,而非秒级的瞬时反应。我们能够构建并维护一个动态的“认知地图”,记住过去的经验教训,并用于指导未来的决策。

                而这一点,恰恰是当前自动驾驶系统的核心短板。

                主流系统普遍缺乏持续数分钟的上下文记忆能力。它们为每个瞬间独立做出判断,导致容易在相同的困境中重复失败。这正是传统“数据补丁”方法无法解决的根本问题——你不可能为所有依赖记忆和情境理解的动态场景预先准备训练数据。

                解决方案或许在于语言的力量。设想一下,如果系统能够将感知到的事件(比如“Oak路口封闭”、“El Camino绕行失败”)实时转化为简洁的语言记录,形成连续的“航行日志”。那么,决策系统就获得了一个稳定、可检索、可推理的“记忆基座”。

                这也揭示了全自动驾驶与通用人工智能之间的内在联系。要想在任何环境下实现人类水平的驾驶能力,系统必须掌握抽象思考、长期规划、持续记忆和社会化推理——这些能力的有机结合,在功能层面已经趋近于AGI的核心特征。

                推荐阅读


                阅读原文

                跳转微信打开

                有赞微信小程序接入Skyline的实践

                2025年9月3日 11:19

                原创 有赞共享技术 2025-09-03 11:19 浙江

                本文讲述了有赞微信小程序接入 skyline 引擎,来实现我们的打开商详场景的“秒开”效果

                有赞微信小程序接入Skyline的实践

                小程序与移动端体验

                移动端技术早期主要由两大平台主导:从 Web 演变而来的H5技术,以及手机厂商的原生(Native)技术。受限于当时的技术与开发效率,许多厂商依然选择 H5 承载业务,并借助 Hybrid 方案调用原生能力。微信小程序作为轻量化应用的早期探索者,为此提供了标准化的解决方案。

                随着移动端技术持续进步,用户对体验的要求不断提高。习惯原生应用流畅体验的用户,对 Hybrid 等类 Web 方案体验感受越来越差。而微信小程序基于 Webview 引擎的原因,也没法实现更多 Native 的体验。为提升用户体验,微信小程序进行了技术革新,推出Skyline渲染引擎,显著提升了渲染性能与交互流畅度,使小程序的用户体验接近原生应用。

                微信小程序
                微信小程序

                针对电商的高频场景,商品列表打开商详,我们从技术发展的角度,给大家一些案例,直观的感受下不同技术实现能带来的体验差别。

                我们先对比 传统 Web 和 微信小程序,传统 Web 跳转切页有明显的 loading 加载过程。而微信小程序的技术架构,让整个切页加载体验有了大幅提升。

                H5页面跳转
                H5页面跳转
                小程序跳转
                小程序跳转

                再看看,小红书、淘宝等原生 APP 的切页过程。

                小红书
                小红书
                淘宝
                淘宝

                很明显,原生 APP 在同样的跳转交互下,做到了更优的体验。其中有几个关键的细节:

                • 新页面在展开过程中,无白屏、闪动的现象。

                • 整个展开过程,有过渡动画,由点击卡片向全屏展开

                • 打开速度非常快,秒级直出。

                有赞小程序在对部分页面接入 Skyline 引擎后,持续优化。最终实现了类似原生体验的路由切换效果,整个跳转过程做到了首帧无白屏,包含过渡效果,并且达到秒级直出。

                先看效果:有赞小程序

                接下来我们对整个优化的几个关键点做具体介绍。

                如何实现页面切换首帧无白屏

                什么是首帧?

                有赞对于首帧的定义是切页出现后,用户看到的第一帧画面。

                图中红色区域标记的为用户看到的第一帧画面,即为首帧。

                切页首帧
                切页首帧

                哪些内容可以进入首帧渲染?

                只要在组件 attached 生命周期前(含)通过 setData 设置上去,就会在首帧渲染。微信文档[1]

                官方文档未明确说明数据注入的姿势,考虑大家实际的业务场景,我们这里需要对比同步数据和等待异步数据两种注入方式。



                  // 示例数据
                  const testContent = 'Lorem ipsum dolor sit amet, consectetur adipiscing elit…………'; 


                  data() {
                      content: '';
                  }


                  // 同步代码示例
                  attached() {
                      this.setData({
                          content: testContent
                      });
                  }


                  // 异步代码示例
                  attached() {
                      setTimeout(() => {
                            this.setData({
                              content: testContent
                            });
                      }, 200) // 200ms 模拟等待异步执行
                  }
                  同步注入
                  同步注入
                  等待异步注入
                  等待异步注入

                  关注切页后的【红色文字内容】,只有通过同步注入,才能在首帧进行渲染展示。而异步注入的内容,则会错过首帧渲染,直到页面打开之后才展示。

                  那是不是只要在 Webview 引擎下保证首屏数据在 attached 周期注入,就能确保“首帧无白屏”了呢?我们通过简单的实验来验证。

                  我们首先验证最简单的场景,在 Webview 下直接注入首屏数据,观测是否能实现首帧无白屏渲染。

                  实验一:Webview 下直接注入数据



                    // 示例数据
                    const testContent = 'Lorem ipsum dolor sit amet, consectetur adipiscing elit…………';


                    data() {
                        content: '';
                    }


                    // 同步代码示例
                    attached() {
                        this.setData({
                            content: testContent
                        });
                    }
                    Webview 快速注入
                    Webview 快速注入

                    结论:Webview 在 attached 直接注入简单数据,可实现首帧无白屏。

                    少量的数据往往是在验证阶段编写 demo 采用的。但实际业务情况是,页面的首屏会有大量数据,并包含一系列的执行逻辑和计算过程。我们用实验二来模拟更接近实际的运行场景。模拟的方式是加一段阻塞代码,模拟业务逻辑执行等。

                    实验二:Webview 下模拟大量计算逻辑后注入



                      // 示例数据
                      const testContent = 'Lorem ipsum dolor sit amet, consectetur adipiscing elit…………';


                      data() {
                          content: '';
                      }


                      attached() {
                          function sleep(ms) {
                            const start = Date.now();
                            while (Date.now() - start < ms) {
                              // 空循环,持续检查时间差
                            }
                          }
                          sleep(1000); // 模拟计算逻辑阻塞
                          this.setData({
                              content: testContent
                          });
                      }
                      Webview
                      Webview

                      结论:在 attached 中包含一定量的计算逻辑后,Webview 路由先完成,渲染后完成,会产生白屏闪一下的问题。

                      实验三:Skyline 下模拟大量计算逻辑后注入



                        // 代码同实验二
                        Skyline
                        Skyline

                        结论:在同场景下,Skyline 切页过程是渲染先完成,路由动画后完成,整个过程无白屏。

                        通过上面的实验,我们可以得出结论,Skyline 即使在有数据逻辑阻塞下,也能保证首屏内容的稳定输出。接下来,我们还可以继续对 首屏数据 和 路由动画这两个点进行深度优化。

                        首屏数据准备

                        首屏数据作为首屏渲染的关键依赖,想要更加顺畅的提升速度。可以有以下思路进行优化:

                        • 在前一页面预加载下一页首屏数据,抽象一个预加载模块,专门用于商品信息预加载的逻辑。

                        • 拆分下一页数据,仅保留首屏视窗内可见的数据。

                        • 服务端承担部分计算逻辑,确保页面拿到数据可以直出。

                        路由动画接入

                        在 Skyline 引擎下,使用微信内置的 open-container 组件,可以轻松实现和原生页面切换一样的路由动画效果。还支持多种切换模式,以及自定义配置。官方文档[2]



                          <open-container class="card-item" bind:tap="goDetail">
                              <small-card class="card-item" />
                          </open-container>
                          路由动画
                          路由动画

                          从上面的分析中,我们发现 Skyline 包含诸多优秀的新特性,可以让用户体验进一步提升。接下来我们简单介绍下 Skyline 引擎如何接入,以及在接入过程中需要注意的地方。

                          接入 Skyline 引擎

                          Skyline 以性能为首要目标,因此 CSS 特性上在满足基本需求的前提下进行了大幅精简,目前 Skyline 只保留更现代的 CSS 集合。另一方面,Skyline 又添加了大量的特性,使开发者能够构建出类原生体验的小程序。小程序支持页面使用 WebView 或 Skyline 任一模式进行渲染,Skyline 页面可以和 WebView 页面混跳。 所有从 Webview 引擎的页面接入 Skyline 引擎后,页面大概率会出现样式结构错乱的。我们适配的重点,就在于 样式和结构上的调整。

                          样式和结构的适配调整,包含诸多细节,这里只列举了常见的问题,更多细节调整可以参考官方文档。

                          样式适配

                          在 Skyline 下 text-overflow:ellipsis,仅用于 text 组件,原先如果是 view 组件实现的,会出现文字超长无法省略,可以用 text 重新实现。

                          结构适配

                          在 Skyline 下,overflow 不支持 scroll 属性,只能通过 scroll-view 实现;不支持单独设置 overflow-x/y。

                          Skyline 配置

                          小程序对于 Skyline 引擎的使用是具体到页面的,并不需要考虑整体小程序切换的影响,可以渐进式,对部分页面进行逐步升级。接入的话,需要分别 app.json 和页面的 index.json 写入配置代码。



                            // app.json
                            "rendererOptions": {
                                "skyline": {
                                  "defaultDisplayBlock": true,
                                  "defaultContentBox": true,
                                  "tagNameStyleIsolation": "legacy",
                                }
                            },
                            "lazyCodeLoading": "requiredComponents",



                            // 页面 index.json
                            "renderer": "skyline",
                            "componentFramework": "glass-easel",

                            灰度上线

                            为保证线上商家小程序稳定,有赞 Skyline 小程序上线过程中,灰度控制是重要的一环。 我们的灰度包含两个环节控制

                            • 有赞内部的小程序灰度机制,对商家进行分流,部分商家接入 Skyline 版本,部分接入Webview 版本。

                            • 微信提供的 Skyline 灰度机制。针对终端用户的灰度筛选,控制项包含微信版本、基础库版本等。官方文档[3]



                              // app.json
                              // 可分别控制 基础库、iOS、Android、鸿蒙设备微信版本
                              "rendererOptions": {
                                  "skyline": {
                                    "disableABTest": true,
                                    "sdkVersionBegin": "3.0.1", // 基础库最低版本
                                    "sdkVersionEnd": "15.255.255", // 填最大值,否则之后的新版本会不生效
                                    "iosVersionBegin": "x.y.z", // iOS 微信最低版本
                                    "iosVersionEnd": "15.255.255", // 填最大值,否则之后的新版本会不生效
                                    "androidVersionBegin": "x.y.z", // 安卓微信最低版本
                                    "androidVersionEnd": "15.255.255", // 填最大值,否则之后的新版本会不生效
                                    "ohosVersionBegin": "1.0.5", //  HarmonyOS 微信最低版本
                                    "ohosVersionEnd": "15.255.255" // 填最大值,否则之后的新版本会不生效
                                  }
                              },

                              结语:Skyline 特性在电商场景的更多探索

                              有赞微信小程序目前在 Skyline 引擎方面目前只接入了路由切换这一场景,配合数据预加载和首屏数据的优化,实现了首帧无白屏的秒开效果,当然还有更多场景可以探索,比如分段半屏,搜索栏吸附,沉浸式商品浏览等。官方Demo[4]

                              引用

                              [1]https://developers.weixin.qq.com/miniprogram/dev/framework/runtime/skyline/share-element.html

                              [2]https://developers.weixin.qq.com/miniprogram/dev/framework/runtime/skyline/open-container.html

                              [3]https://developers.weixin.qq.com/miniprogram/dev/framework/runtime/skyline/migration/release.html#%E5%8F%91%E5%B8%83%E4%B8%8A%E7%BA%BF

                              [4]https://developers.weixin.qq.com/miniprogram/dev/framework/runtime/skyline/experience.html

                              文末福利

                              有赞研发团队前端、后端、客户端、测试、AI开发、运维开发、数据开发等多个岗位招聘中,看机会的伙伴可以将简历发送至 zhuzhuyun@youzan.com。

                              阅读原文

                              跳转微信打开

                              AI Test:AI 测试平台落地实践

                              2025年8月27日 10:46

                              原创 有赞共享技术 2025-08-27 10:46 浙江

                              人工智能正在深度改变各行各业,软件测试也不例外。随着 AI 在自然语言理解、图像识别、意图规划等方面的成熟发展,测试方法正在从【人 + 代码驱动的传统测试】 向 【AI 驱动的智能测试】转型。

                              AI Test:AI 测试平台落地实践


                              一、AI 正在重塑软件测试领域

                              人工智能正在深度改变各行各业,软件测试也不例外。随着 AI 在自然语言理解、图像识别、意图规划等方面的成熟发展,测试方法正在从 “人 + 代码驱动的传统测试” 向 “AI 驱动的智能测试” 转型。

                              AI 的出现,使构建低门槛、高覆盖、强适应性的测试体系成为可能。

                              AITest 项目的提出,正是为了探索如何解决测试领域长期存在的难题。


                              二、AI 落地的现实挑战

                              1. AI 模型的固有局限

                              • 幻觉问题:模型可能输出看似合理却错误或编造的信息,在高精度场景中尤为致命。

                              • 不确定性:LLM(大型语言模型)是概率生成模型,决策过程不透明,输出难以解释且结果不稳定。

                              • 性能问题:大模型存在响应速度慢、吞吐能力有限的问题(多模态更严峻),在低延迟、高并发的场景中很难满足要求。


                              2. 与系统/工作流的集成挑战

                              系统集成误区

                              误区一:AI = 聊天机器人
                              简单地把 AI 理解为交互方式的变化,只关注对话体验,而忽视了 AI 在决策、规划、自动化上的潜力,人为限制了 AI 的价值发挥。

                              误区二:AI 能力 = 产品能力
                              把 AI 的生成能力直接当作产品能力,而忽视了完整的 产品化、工程化过程。这样做出来的往往只是一个 demo,不具备生产可用性。

                              误区三:直接接入大模型 = 平台智能化
                              低估工程化的投入。要使 LLM 具备业务理解力、稳定性和可控性,需要大量“辅助工程”,包括数据预处理、模型微调、知识图谱、反馈机制等。

                              系统集成思路

                              明确现有工作流

                              • 梳理清楚现有系统的工作流,明确人、程序各自负责的节点,识别确实存在的痛点。

                              • 探讨可行的技术方案,评估 AI 接入是否真正能解决问题。

                              识别切入点

                              • 哪些环节可以引入 AI?例如需求理解、环境搭建、用例调试、报告分析。

                              • AI 能解决哪些痛点?主要聚焦于意图理解、模式识别、信息提取与生成等任务。

                              集成策略设计

                              • AI 的输入/输出与现有系统如何对接?

                              • 执行闭环如何建立?如何通过反馈机制让 AI 持续改进?

                              • 如何保证 AI 系统具备环境感知和自我调整的能力?

                              AITest 工作流

                              图片
                              图片

                              3. 与人的集成挑战

                              AI 的落地不仅是技术问题,也涉及人机关系的再设计。

                              AI 信心指数

                              • 经验丰富的人员对确定性要求极高。

                              • 一次小失误,就可能大幅削弱他们的信任,破坏其高效工作流。

                              人机协同困境

                              • 缺乏明确的人机协作边界。

                              • 难以判断 干预时机、修改方式、对 AI 的合理预期。

                              信息指数
                              信息指数

                              4. 产品交互与 AI 效果的优先级

                              在 AI 项目中,产品交互的价值常被讨论,有两种观点:

                              交互重要派

                              • 好的产品交互是兜底手段,在 AI 出现不确定性时,引导用户修正;

                              • 清晰的反馈、明确的状态、可控的流程;

                              • 能够帮助用户降低门槛、增强信任。

                              交互不重要派

                              • AI 的核心价值在于能力,而不是外壳;

                              • 如果 AI 效果不好,再好的交互也无济于事,无法真正解决用户目标。

                              实践建议

                              • 早期项目:优先打磨 AI 核心能力,确保核心流程跑通。

                              • 中期项目:完善交互作为兜底,优化流程,保证最基础的用户体验。

                              👉 总结:好的交互体验是必要条件,但真正的优先级应当给到 AI 核心能力。

                              产品交互优先级
                              产品交互优先级

                              三、AI 驱动测试的理想与现实

                              • 理想愿景:完全自动化测试 —— AI 能够独立理解需求、生成用例、执行验证,甚至自动修复。

                              • 现实状态:目前的 AI 还难以独立承担复杂逻辑处理、数据初始化、状态追踪等任务。

                              因此,在相当长的一段时间内,AI 测试必然处于 “AI + 人” 协同模式。
                              人机协同,是当前价值最大化的可行路径。

                              换句话说,AI 测试的未来方向很明确:走向完全自动化。但在能力尚未成熟之前,我们必须接受一个“AI + 人”共存的过渡阶段。

                              什么时候能实现理想愿景?要么依赖大模型能力的重大突破,要么通过更强的工程化手段解决幻觉、不确定性、性能等问题。

                              👉 所以,完全自动化是目标,但人机协同才是当下的现实与必经之路。


                              四、AITest 的项目经验

                              1. 核心经验总结

                              • 经验一:模型 ≠ 系统
                                模型只是具备单一能力的 Agent,应专注于特定任务。凡是可以由传统程序解决的,不必交给模型。

                              • 经验二:差异化协同策略

                                • 简单任务 → 由 AI 决策,人工审核;

                                • 复杂任务 → 由 AI 辅助,人工决策;

                                • 人始终保持最终控制权,并通过反馈机制修正 AI 的结果。

                              • 经验三:AI Native ≠ 颠覆产品形态
                                AI 的价值在于增强功能、优化工作流,而不是推翻既有产品形态。
                                解决痛点 > 炫技式重构,这是更现实的落地路径。


                              2. 实践要点

                              模型定位与预期管理

                              • 明确 LLM 的核心价值(意图理解、模式识别、原因分析等),不要期待它成为万能解法;

                              • 避免过度依赖,把 AI 视为“辅助工具”更符合当前能力。

                              人机职责划分与协作

                              • 清晰定义边界:AI 负责用例生成、初步分析;人负责审核、决策、确认;

                              • 设计便捷的人机交互界面,让用户能随时修改 AI 结果并提供反馈。

                              工作流程闭环

                              • 数据驱动:沉淀 AI 生成结果、执行数据、缺陷与反馈;

                              • 效果评估:设定指标(用例生成效率、缺陷发现率、误报率、修正成本);

                              • 持续迭代:定期优化 Prompt、模型与知识库,保证系统长期演进。


                              五、AI × 程序的协同设计

                              1. AI 与程序的角色

                              AI 的角色

                              • 负责理解、规划与探索,这些任务是传统程序难以胜任的;

                              • 在这些场景中,AI 扮演了“人的能力”,能够处理模糊、非结构化信息。

                              程序的角色

                              • 具有高度准确性和一致性;

                              • 在绝大多数标准化、重复性的任务中表现稳定可靠,效率高于 AI。

                              协同原则
                              在设计 AI 产品或 AI 驱动的测试系统时,应充分利用两者的互补优势:

                              • 程序负责核心执行,确保稳定性和性能;

                              • AI 在边界场景提供辅助、兜底与纠错能力;

                              • AI 输出可用于订正程序配置,形成闭环优化。

                              2. AITest 实践示例:用例执行

                              1. 程序优先执行

                                • 高性能执行标准化测试用例,保证效率与一致性。

                              2. AI 兜底执行

                                • 对程序执行失败或边界异常的用例进行补充执行,提升整体稳定性。

                              3. 循环优化

                                • AI 识别的信息反馈给程序配置,用于下一轮优化;

                                • 形成 AI + 程序的闭环协同,持续提升测试质量与效率。


                              六、反馈与优化的重要性

                              AI 的输出天然存在不确定性,因此失败是优化的前提。在 AI 项目中,反馈与优化是持续提升系统能力、实现可控性的核心机制。

                              闭环优化的核心目标
                              让 AI “记住教训”、形成偏好、学习更优策略,构建可追踪、可学习、可演进的系统能力。

                              关键步骤

                              1. 案例数据沉淀

                                • 收集失败案例和人工修正样本;

                                • 将高价值数据沉淀,用于后续训练和改进。

                              2. 提示词进化

                                • 基于沉淀的案例数据持续优化 Prompt;

                                • 提高生成结果的准确性和实用性。

                              3. 质量度量

                                • 建立关键指标,如生成准确率、修正率、误报率等;

                                • 通过量化效果评估优化策略,确保 AI 输出可控和可预测。

                              📌 核心理念
                              反馈与优化不是一次性的修复动作,而是系统性能力的建设。
                              持续沉淀数据、迭代优化提示、量化效果,形成闭环,让 AI 在实践中不断进化.

                              信息指数
                              信息指数

                              七、未来展望

                              AI 在软件测试中的演进将分为三个阶段:

                              1. AI 辅助测试

                                • 人主导,AI 辅助;

                                • 聚焦单点突破。

                              2. AI 驱动测试

                                • AI 主导,人监督;

                                • 接管大部分测试任务。

                              3. AI 自主测试

                                • AI 全面掌控测试流程;

                                • 人仅在复杂场景中介入。


                              结束语

                              AI 在测试领域的应用,核心在于 工程化思维 + 人机协同模式。
                              通过合理的模型定位、清晰的职责划分、完善的反馈机制,AI 才能逐步从辅助走向驱动,最终实现自主化测试。

                              AITest 项目的实践表明:AI × 程序 × 人 的协同,是推动测试智能化的最佳路径。

                              文末福利

                              有赞研发团队前端、后端、客户端、测试、AI开发、运维开发、数据开发等多个岗位招聘中,看机会的伙伴可以将简历发送至 zhuzhuyun@youzan.com。

                              阅读原文

                              跳转微信打开

                              智能体(Agent)全景拆解:核心模块、技术实现与业务落地指南

                              2025年8月13日 17:28

                              原创 有赞共享技术 2025-08-13 17:28 浙江

                              本文解析智能体(Agent)的本质与核心架构,详解感知、记忆、规划、行动四大模块的技术实现(含LLM、RAG、ReAct、Plan-and-Solve等),结合真实案例(如蛋糕烘焙助手、商机挖掘)探讨落地挑战(评估、成本)与选型策略。

                              1 什么是Agent

                              智能体(Agent) 是指能够感知环境、进行决策并采取行动以实现某种目标的系统。

                              现在我们把Agent想象成一个人,这样便于我们更好的理解,比如说我们走在路上,看到对面有辆车开过来了,这个时候我们本能的会去躲避,那整个过程是怎么发生的呢?

                              看到对面有车开过来,这是通过眼睛看到信息,通过神经传递给大脑,大脑调动之前的记忆发现如果这个时候不躲开,就有可能会被车撞,然后驱动着脚走到旁边去。

                              上面的过程就是感知路面环境、大脑决策最后采取行动的过程。基于上面的过程我们可以看出,Agent会包含以下核心模块。

                              2 Agent核心模块

                              见下图,不同的机构或团队对Agent的核心模块划分不同,但都包含了感知、记忆、规划和行动四个模块。
                              Agent核心模块

                              2.1 LLM(大语言模型)

                              先简单说下大语言模型,它是智能体的核心,相当于人的大脑,背后的神经网络设计也是基于人类大脑的神经系统,尤其是神经元(Neuron)之间的连接与信号传递方式。

                              关于大语言模型就不再详细说了,大家基本每天都在用。然后还是想着重说下深度学习,因为它与传统的软件研发流程不一样。就像AI大神卡帕西(斯坦福读书时的导师是李飞飞, OpenAI的创始成员之一,后面被马斯克亲自招募,出任特斯拉的AI总监,之后又回到OpenAI,去年,他正式宣布离开OpenAI)最近的一个演讲中,提到的一个概念,叫 “软件3.0”。

                              • 软件1.0,是我们最熟悉的传统软件研发流程,指的是由人类程序员一行行编写代码的方式,我们之前的研发流程都属于软件1.0。

                              • 软件2.0,是随着深度学习的兴起而出现的。它的核心已经不再是人工编写的代码,而是通过训练来控制神经网络的权重。这个阶段,很多事情不再依赖程序员去手动写逻辑,而是依靠数据驱动模型进行“学习”,而且泛化能力也很好。

                              • 软件3.0,就是我们现在通过cursor、trae、winself等AI 开发工具用自然语言进行编程,它大大降低了软件创造的门槛。

                              但仔细想想我们好像直接从1.0跳到了3.0,并没有经过2.0,但实际上软件2.0的应用其实还是蛮多的,尤其是一些垂直行业,如医疗健康,让机器学习看片子,帮助医生看病;如农业领域,能够预测作物产量和优化种植策略;还有教育行业,能够个性化学习路径和提高学习效率等等。

                              所以我觉得大家有兴趣可以了解了解。推荐两本书:《深度学习革命》、《深入浅出神经网络与深度学习》。

                              2.2 Perception(感知)

                              即智能体对环境的感知,一个人可以通过眼睛、耳朵来感知环境,机器人可以通过雷达和摄像头感知环境,软件中主要是基于我们输入的上下文数据,可以是文本、图片、视频、语音、文件等等。

                              2.3 Memory(记忆)

                              大模型其实是没有记忆的,只能通过外部技术(如RAG、ES)模拟记忆效果,以增强任务表现和交互连贯性。

                              分为短期记忆(Short-term) 和 长期记忆(Long-term)。个人认为记忆对于大模型来说非常重要,因为随着对模型的不断使用,如果模型厂商如果把这些使用的记录全部变成记忆,那模型就会越来越懂我们,使用起来也会越来越顺手,而不像现在,每次在提示词上要还很多时间,而且换个窗口后又得重来一次。

                              2.3.1 短期记忆依赖模型上下文的token限制

                              参考代码如下, 在每次调用大模型的时候,需要将工具返回的信息、人的反馈信息等都塞到messages中,然后去调用大模型接口。

                                ounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(line
                                interface ChatMessage {
                                  role: 'user' | 'assistant' | 'system' | 'tool';
                                  content: string;
                                  tool_calls?: xxx;
                                  call_id?: string;
                                }
                                class Memory {
                                  private messages: ChatMessage[] = [];


                                  constructor() {
                                    this.messages = [];
                                  }


                                  addMessage(message: ChatMessage) {
                                    this.messages.push(message);
                                  }


                                  getMessages() {
                                    return this.messages;
                                  }
                                }

                                2.3.2长期记忆依赖于外部组件(如RAG, elasticsearch)

                                可以通过文件或数据库来做存储介质,可以搜索、更新, 长期记忆又可以继续分,如用户画像记忆,情景记忆,事实记忆等。

                                • 接下来讲下在蛋糕烘培助手案例中是如何处理记忆的,实时的对话信息作为工作记忆,存在内存中,到达一定阈值后,由大模型来提取关键信息来作为短期记忆。然后上半年商机挖掘项目能够分析出客户画像,将这部分信息作为长期记忆存储起来,后续的对话,每次调用大模型的时候会进行召回并更新短期记忆的召回次数。这些短期记忆会进行周期性的评估(包括召回次数和重要性),重要的会合并进核心记忆,不重要的进行遗忘。

                                • 整体会分三层:工作记忆、短期记忆、 长期记忆

                                • 每次询问通过向量检索更新短期记忆召回次数

                                • 短期记忆由大模型来进行提取为边缘记忆,并设置重要性评分

                                2.4 Action(行动)

                                行动很好理解,LLM相当于我们的大脑,但是光有大脑,没有手脚也做不成事,所以Agent就需要借助外部的工具进行行动。

                                我们需要把我们的工具(包括名称、描述和需要的参数)告诉LLM,当LLM来决定是否用工具,以及什么时机用工具。

                                介绍下案例中使用的商品查询工具,即用户通过一个问题或图片就能找到商家后台商品库的商品

                                • 商品的关键词查找处理:

                                  • 将商家后台的商品图片和标题通过多模态模型提取出关键信息;

                                  • 大模型会提取出关键信息,然后让工具执行,在执行过程中将关键词和商家后台商品的关键信息项进行相似度检索,从而找出匹配的;

                                • 图片的查找处理:

                                  • 将商家后台的商品图片向量化;

                                  • 模型提取出用户想要的蛋糕商品图片链接,然后和商家后台商品图片进行相似度匹配;

                                  ounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(line
                                  // 定义tools
                                  const tools = [
                                      {
                                          "type": "function",
                                          "function": {
                                            "name": "query_goods",
                                            "description": "查询蛋糕商品信息",
                                            "parameters": {
                                              "type": "object",
                                              "properties": {
                                                "keywords": {
                                                  "type": "array",
                                                  "items": {
                                                    "type": "string",
                                                    "description": "蛋糕商品关键信息项",
                                                  },
                                                  "description": "蛋糕商品关键信息,包含适用场合、目标人群、风格、口味、主题、颜色等",
                                                },
                                                "image_url": {
                                                  "type": "string",
                                                  "description": "蛋糕商品图片链接",
                                                },
                                              }
                                            },
                                         }
                                      },
                                      ...
                                  ];

                                  2.5 Planning(规划)

                                  规划这部分相对会复杂点,接下来主要将常见的两种规划模式,分别是ReAct和Plan-and-Resolve,除了这两种模式还有多Agent模式等。

                                  2.5.1 ReAct(Reason + Action 推理 - 行动 - 反馈)

                                  通过不断的推理、行动和反馈来最终完成用户的目标。

                                  蛋糕烘培助手的流程如下图:蛋糕烘培助手

                                  2.5.2 Plan-and-Solve

                                  将任务分解成子目标并分布执行,这个和ReAct的区别是:Plan-and-Solve是先通过大模型将任务拆解,然后再分布执行,和ReAct是一步一步的去执行,两种模式适用的场景不一样。

                                  比如说旅游规划的agent,就可以用Plan-and-Solve模式,先生成计划(如要了解天气、要了解住宿等),然后再解决计划, 最终整合让大模型完成回答, 当然中间也可以加反思,对计划进行反思等。

                                  下面是基于Plan-and-Solve的流程图:

                                  3 Agent评估报告

                                  评估报告是Agent开发过程中不可或缺的环节,包括响应时间、完成度、工具使用情况、后续优化等,它能够系统性地收集和分析Agent的运行数据,为后续的优化和迭代提供科学依据。

                                  所以在agent的设计环节都需要将这些数据都记录下来。

                                  4 Agent成本分析

                                  在做AI应用的过程中,我们经常会被问到一个问题,做个东西的成本怎么样?

                                  AI相关应用与传统的应用之间的计费方式完全不一样了,所以Agent中每次的模型调用,所以针对Agent需要做成本分析。

                                  基于成本分析可以进行价值回顾和agent的优化。

                                  5 Agent vs Workflow

                                  用一句话来概括它们之间的区别就是:Agent是你只需要告诉我你要什么,不需要告诉我怎么做,而workflow就是你要按照我编排好的路径来执行。一个是基于大模型来规划,一个是基于人来规划。

                                  如何选择?

                                  • 选Workflow

                                    • 数据处理管道

                                    • 文档审批流程

                                    • 任务流程相对固定,步骤可预定义

                                    • 需要严格的执行顺序和质量控制

                                    • 要求高可靠性和可重复性

                                    • 涉及多个系统集成,需要标准化流程

                                    • 合规要求严格,需要审计追踪

                                    • 如:数据处理管道、文档审批流程

                                  • 选Agent

                                    • 智能客服助手

                                    • 个人AI助理

                                    • 复杂问题诊断

                                    • 任务需要动态决策和灵活应对

                                    • 环境不确定性高,需要自主判断

                                    • 要求个性化和上下文理解

                                    • 需要创造性解决问题

                                    • 用户交互频繁,需要对话式体验

                                    • 如:智能客服助手、个人AI助理、复杂问题诊断

                                  6 FM Agent 与 RL Agent

                                  以上讲的都是FM Agent,是基于大型预训练模型(Foundation Model) 的智能体,比如基于 GPT-4、Claude、Gemini 等大模型构建的智能体。

                                  核心能力是利用大语言模型(LLM)的理解、推理、规划和生成能力来感知世界、做决策、执行任务。

                                  除了FM Agent,还有RL Agent,它是基于强化学习(Reinforcement Learning) 原理构建的 Agent。

                                  它与环境交互,根据奖励信号学习最优策略,以最大化长期累计奖励。如DeepMind的AlphaGo Zero,在围棋游戏中击败了世界顶级选手,就是一个RL Agent。

                                  7 最后

                                  今天的分享只是掀开了 Agent 世界的一角。它的深度与潜力远不止于此,新的思路、框架与落地案例正层出不穷。希望这份经验与尝试,能为大家点亮一条更高效、更有趣的道路。

                                  回过头来看,不论是 LLM、Workflow 还是 Agent,终究只是工具。只有当它们与真实业务场景发生化学反应,切实解决痛点,创造价值时,技术的光芒才会真正被点亮。愿我们带着好奇与敬畏,把技术的锋利,打磨成改变世界的钥匙。

                                  文末福利

                                  有赞研发团队前端、后端、客户端、测试、AI开发、运维开发、数据开发等多个岗位招聘中,看机会的伙伴可以将简历发送至 zhuzhuyun@youzan.com。

                                  阅读原文

                                  跳转微信打开

                                  文生图质量评估实战:有赞电商场景的量化评测体系

                                  2025年8月4日 14:12

                                  原创 有赞共享技术 2025-08-04 14:12 浙江

                                  当 AI 生图成为刚需,我们如何定义“好图”?

                                  破局思路:解耦评估与流程,通过构建一套独立于生成链路的第三方质量评估体系。

                                  1. 当 AI 生图成为刚需,我们如何定义“好图”?

                                  在电商经营的核心战场,商品主图与营销海报的生成质量直接联动商家点击率。有赞 AIGC 项目应需而生,聚焦服务门店运营者、店长等非专业设计人群,通过移动端提供「上传商品图 → 智能抠图 → 背景生成」的一站式解决方案,大幅降低创作门槛。

                                  然而,随着文生图技术深度融入业务,一个核心矛盾日益凸显:

                                  传统测试擅长验证流程逻辑,却在“生成内容质量”评估上捉襟见肘——

                                  • 图像是否足够清晰专业?

                                  • 内容是否精准匹配文案描述?

                                  • 风格是否符合商家需求场景?

                                  这些关乎转化率的关键维度,长期依赖主观、耗时的人工判断,缺乏客观、可量化的评估标准。业务的最终价值落在图像效果上,传统工具却对此无能为力。

                                  由此我们想到了破局思路:解耦评估与流程。通过构建一套独立于生成链路的第三方质量评估体系——

                                  • 不干预生产过程:专注于生成结果的客观评价;

                                  • 输出量化质量分数:为每张图提供一致、可比较的“质量标尺”,填补 AI 内容自动化测试的关键空白。

                                  这套体系的价值在于:

                                  • 辅助模型选型:通过量化对比不同模型在电商真实场景下的表现(如语义匹配度、图像清晰度),避免盲目采购“最贵模型”,实现资源精准投入;

                                  • 驱动 Prompt 优化迭代:为系统自动改写策略提供数据反馈,清晰判断每次调整是优化了语义对齐,还是偏离了目标;

                                  • 跨项目通用质检:核心评估逻辑(图文语义匹配、基础图像质量)与具体业务解耦,可快速复用于各类文生图场景,沉淀为通用工具。

                                  更深远的意义在于它将模糊的“审美判断”转化为可行动的数据信号——从自动拦截劣质图,到智能推荐高分模板,切实降低商家操作成本,护航每一张生成图片。


                                  2. 指标选型与系统结构:如何实现图像评估?

                                  在推进图像质量评估的过程中,首先思考了两个问题:

                                  1. 我们如何定义一张“好图”?

                                  2. 如何让系统具备这样的判断能力?

                                  围绕这两个方向,我们逐步明确了指标选型的原则,并搭建了一套轻量可扩展的系统结构,以满足评估的稳定性与通用性需求。

                                  在实际使用文生图模型的过程中,图像“好不好”常被作为效果评估的依据,但这类判断高度依赖人工主观评价,缺乏统一标准。

                                  尤其当业务需要对多模型、多版本进行横向对比,或对大批量生成结果进行筛选时,仅靠“看图说话”存在明显局限:

                                  • 缺乏一致性:不同人评价标准不一,容易产生偏差;

                                  • 无法复用:历史评价无法转化为结构化数据,难以支持模型迭代;

                                  • 不具备规模性:难以处理成千上万张图的批量评估任务。

                                  为了尽量减少这种“说不清、评不准”的问题,我们尝试搭建了一套可量化的评估机制,作为文生图模型测试的第三方参考。

                                  这一机制不仅能支持跨模型、跨版本的客观对比,也能辅助日常质量筛选与 Prompt 的优化反馈。

                                  在初期设计阶段,我们调研了市面上主流的图文质量评价指标,包括 CLIPScore、IS(Inception Score)、FID、BLIPScore、PickScore 等,并基于以下三项原则进行了指标选型:

                                  • 开源可用性:指标是否有成熟的、开源的实现版本,便于快速部署;

                                  • 经典性与验证度:是否在学术与工业界被广泛使用;

                                  • 落地适配性:是否易于系统集成,计算资源要求是否合理。

                                  最终,我们选择了以下两个指标作为第一阶段的核心评估手段:

                                  • Inception Score(IS):衡量图像本身的质量与多样性,广泛用于 GAN 模型评估,尤其适用于无 Ground Truth 场景;

                                  • CLIPScore:基于 CLIP 模型计算图文匹配度,适用于文生图任务,可衡量图像是否准确表达文本信息。

                                  这两个指标分别覆盖了“图像质量”与“语义契合”两个关键维度,构建起一套基础但有效的自动化评估框架,为模型优化提供了可落地、可复用的支撑。

                                  2.1 CLIPScore

                                  第一个选用的评估指标是 CLIPScore,用于衡量生成图像与 Prompt 之间的语义一致性,也就是“你画的到底是不是我说的那回事”。

                                  该指标基于 OpenAI 提出的 CLIP 模型。CLIP 可以同时编码图像与文本,将它们各自转化为语义向量,再通过余弦相似度(cosine similarity)计算图文匹配程度,也就是看它俩在“意思”上有多接近:

                                  其中:

                                  • CLIP_image:图像的向量表示;

                                  • CLIP_text:文本的向量表示。

                                  CLIPScore 的取值范围理论上为 [-1, 1],但在实际应用中,分数主要集中在 [0, 0.6] 区间内(以 MUGE 数据集为例)。

                                  CLIPScore 的取值范围
                                  CLIPScore 的取值范围

                                  在本系统中,我们使用的是中文版本的 CLIP 模型 OFA-Sys/Chinese-CLIP,它在约 2 亿对中文图文数据上进行训练,显著提升了对中文 Prompt 的理解能力。

                                  相比原始英文 CLIP 模型,它更适配中文表达特点,适合我们这种电商类场景。比如 Prompt 是 “草地上的红色自行车”

                                  • 如果红色的自行车、背景就是草地,那分数可能在 0.55 到 0.6 之间;

                                  • 如果画对了自行车,但草地背景缺失或者模糊,可能就掉到 0.4 左右;

                                  • 如果生成了一辆黄色的卡车,那分数可能会掉到 0.2 以下,这说明它跟 prompt 就几乎没对上。

                                  通过我们实测的这个例子,Prompt 为“一只金色的蓝眼睛猫”,能够直观地感受到图像、文本和分数之间的联系。

                                  不同模型的 CLIP 分数表现
                                  不同模型的 CLIP 分数表现

                                  简单来说 CLIPScore 这个分数并不看图好不好看、画风漂不漂亮,它只关心这幅图是不是够切题。那它到底是怎么“知道”这回事的?这就要讲讲现代 AI 系统里很核心的一个概念:向量表示。

                                  在多模态模型里,不管是一张图,还是一句话,都会被“翻译”成一组很长的数字,也就是向量。然后模型就拿图的向量和词的向量去比对,看它们在语义空间里靠不靠近。越近,代表意思越像,分就越高。这就是 CLIPScore 背后的机制。

                                  2.2 Inception Score(IS)

                                  如果说 CLIPScore 评估图像与文本是否语义一致,那么 Inception Score(IS)更关注图像本身的可识别性与多样性,也就是“图画得清不清楚、够不够丰富”。

                                  • 图像的可识别性(Recognizability):图像是否清晰、结构完整,能被分类器准确识别;

                                  • 图像的多样性(Diversity):图集中图像是否风格各异、覆盖多个类别,避免“批量复制”。

                                  IS 借助一个在 ImageNet 上训练好的分类器(Inception v3),对每张图像输出类别的预测分布 ,再通过下式计算整体得分:

                                  其中:

                                  • :图像  被识别为各类别的概率,反映置信度是否集中;

                                  • :所有图像预测分布的平均值,衡量整体是否具备多样性;

                                  • :KL 散度,用于衡量两个分布(如预测分布与平均分布)之间的差异。

                                  IS 的取值范围理论上为 ,没有固定上限,但在常见实际任务中通常集中在 1~15 之间。

                                  IS 的取值范围
                                  IS 的取值范围

                                  注意 IS 是一个整体指标,不能用于评估单张图像,必须对整批图片计算才可靠。如果每张图都很容易被分类,而整批图又能覆盖多个类别,这表明生成的图像既清晰、又多样,那么 IS 就会很高。

                                  比如:假设三个模型分别生成一组 3000 张图片的动物图集

                                  不同模型的 IS 分数表现
                                  不同模型的 IS 分数表现

                                  IS 就像一次“阅图比赛”的评委:

                                  • 清晰吗? 图像模糊无比、结构差,评委根本看不清,自然评分低;

                                  • 有新意吗? 全是一模一样的猫?即使都好看,评委也会觉得没劲。

                                  而参赛的模型选手大致分三类:

                                  • 低 IS:你给我看了 5 张模糊图,全是迷雾,我看不出是什么 —— 评分低;

                                  • 中 IS:你给我看了 5 张清楚的猫,我都认出来了,但全是猫,看得我有点腻 —— 评分一般;

                                  • 高 IS:你给我看了 5 张清晰又各不相同的图,有猫、有狗、有鸟、有兔 —— 评分高!

                                  所以为什么我们要引入 IS?因为 CLIPScore 虽然能判断“画得对不对题”,但它有两个天然盲点:

                                  1. 不看图像本身的清晰度:画面模糊也可能得高分,比如生成了“四不像”的模特;

                                  2. 不看图集的多样性:只要语义对题,每张图片复制粘贴也能得分。

                                  IS 恰好弥补这两个盲区,因此我们可以将 IS 应用于两个场景:

                                  • 多模型对比:判断哪个模型在特定业务场景的“视觉”输出更优秀;

                                  • 调参验证:辅助判断参数调整(如 temperature)是否提升了生成图像的多样性。

                                  2.3 系统架构概览

                                  系统架构图
                                  系统架构图

                                  1. NSQ 消费者监听模块

                                  功能概述:订阅 NSQ 队列主题 generate_img_data_collect_topic,实时消费生成数据并写入本地 CSV 文件。

                                  核心脚本:

                                  • message_listener.py:接收启动参数并拉起消费者。

                                  • consumer_util.py:封装具体消费者逻辑。

                                  启动示例:

                                    ounter(lineounter(lineounter(lineounter(lineounter(line
                                    # 使用默认输出文件 output.csv
                                    python message_listener.py


                                    # 自定义输出文件
                                    python message_listener.py --output output_sample.csv

                                    2. 批量接口调用模块

                                    功能概述:读取本地 CSV 文件,批量调用 Dubbo 接口生成图像,记录调用结果及异常信息,形成错误记录文件方便后续重试。

                                    核心脚本:

                                    • generate_request.py:接收命令行参数,读取输入 CSV,执行批量接口调用,并输出错误记录。

                                    • dubbo_util.py:封装 Dubbo HTTP 接口调用及重试、日志、异常捕获。

                                    启动示例:

                                      ounter(lineounter(lineounter(lineounter(lineounter(line
                                      # 使用默认输入 data.csv,输出错误记录 error.csv
                                      python generate_request.py


                                      # 自定义输入文件与错误记录文件
                                      python generate_request.py --input data_sample.csv --error error_sample.csv

                                      3. 图像质量评估模块

                                      功能概述:对已生成的图像进行质量评估,计算文本一致性分数(CLIPScore)及多样性/真实感分数(Inception Score),可配置权重计算加权总分。

                                      核心脚本:

                                      • evaluate_clipscore.py:下载图像并使用中文 CLIP 模型计算图像与 prompt 的语义相似度。

                                      • evaluate_is.py:下载图像后基于 Inception 模型计算图像集合的 IS,反映生成样本的多样性和可信度。

                                      • main.py:并行调用上述两个模块,计算 CLIPScore 与 IS 并合并结果,支持自定义加权输出总分。

                                      启动示例:

                                        ounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(line
                                        # 计算 CLIPScore
                                        python evaluate_clipscore.py                         # 默认 output.csv -> result_clip.csv
                                        python evaluate_clipscore.py --input output_model.csv --output result_model_clip.csv --batch_size 64


                                        # 计算 Inception Score
                                        python evaluate_is.py                                # 默认 output.csv -> result_is.csv
                                        python evaluate_is.py --input output_model.csv --output result_model_is.csv


                                        # 并行计算 CLIPScore + IS 并输出加权分
                                        python main.py                   # 默认 output.csv -> result.csv
                                        python main.py --input output_model.csv --output result_model.csv --clip_weight 0.6 --is_weight 0.4

                                        3. 项目实例验证:如何确认系统真的有用?

                                        3.1 验证方法与数据治理

                                        3.1.1 监听链路数据

                                        本次尝试使用真实业务链路监听数据作为评估输入,对现有文生图模型评估方案(CLIPScore + Inception Score)进行了验证。得到的结果如下:

                                        原始数据结果表格-节选
                                        原始数据结果表格-节选

                                        该类数据高度贴近真实场景,但也暴露出如下三类问题:

                                        1. prompt 结构混乱,无法直接使用监听到的 prompt 往往是完整的 JSON 调用体,其中包含:

                                          ounter(lineounter(lineounter(lineounter(lineounter(line
                                          {
                                            "messages": [{"role": "user", "content": "这张图不行,重  新来一张好看的"}],
                                            "temperature": 0.7,
                                            ...
                                          }
                                          • 多轮对话历史;

                                          • 系统参数(如 temperature, max_tokens 等);

                                          • 工具调用记录、流程控制语句。

                                          这类结构不具备图像描述能力,导致测试输入不符合 CLIPScore 评估工具的要求,造成分数虚低或失真(本次 clip_score 全部在 0.30 左右,最低仅 0.303)。

                                          2. 非描述性语言占主导,缺乏视觉语义信息

                                          大量用户交互数据本质上属于无效测试输入,用户 prompt 多为指令性、反馈性表达,如:

                                          • “不满意,再来一张”

                                          • “换个背景吧”

                                          • “帮我重新生成”

                                          这些语句无法建立有效的图像-文本语义关联,因此即便系统生成了一张视觉质量较高的图,也无法与 prompt 建立合理语义联系,CLIPScore 无法准确反映效果。

                                          3. 图像样本数量有限且主体同质化,IS 分数失效

                                          项目初期仅使用了 44 张图像样本,所有图像均采用“商品抠图 + 背景合成”的生成方式,说明

                                          • 主体高度一致,多为蛋糕抠图商品;

                                          • IS 并不适合用于几十张图的小规模评估。

                                          Inception Score 指标适用范围补充说明

                                          在当前验证中,IS 分数在约 2.0 左右,未能充分反映多样性,主要受限于样本规模过小(约 40 张),与 IS 理论要求的统计规模存在较大差距。根据业界经验与论文实践:

                                          • IS 理论上需要基于大样本分布来评估图像的多样性与可识别性,通常推荐最少在 >500 张 的图像集合上计算,理想情况下在 >1000 张 的规模才能得出稳定、可比较的分值;

                                          • 小于 100 张时,IS 往往会因为分布稀疏,导致 KL 散度统计不充分,从而输出失真的过低分值,并且波动较大,不具备有效的判别意义。

                                          因此后续在文生图质量体系中:

                                          • < 100 张 的测试集合不建议采用 IS 进行有效性评估;

                                          • 100 ~ 500 张 可用于初步 sanity check(检查是否完全失效),但不用于模型间对比或回归基线判断;

                                          • ≥ 500 张 可用于阶段性对比和优化验证;

                                          • ≥ 1000 张 适合作为稳定的跨版本基准测试集。

                                          这样能更好地保障 IS 对多样性与质量的检测具备统计意义,避免因样本不足导致的虚低或虚高现象。

                                          3.1.2 清洗后的数据

                                          针对上一节中暴露的问题,我们对监听数据进行了系统清洗,主要包括:

                                          • 排除系统消息、系统提示语、流程控制语句,仅保留用户主动表达的图像语义;

                                          • 删除用户指令性语言(如“帮我生成一张”“换一个背景”)等干扰表达;

                                          • 提取可直接用于生成图像的短语(如“绿色森林”“芋泥薰衣草”)。

                                          以下是在清洗数据集上测试得到的结果:

                                          清洗数据结果表格-节选
                                          清洗数据结果表格-节选

                                          清洗后构建的测试集具有以下特征:

                                          • 清洗后的 prompt 恢复为可用的视觉语义,语义明确,结构统一;

                                          • 允许 CLIPScore 成为有效的文本对图评估标准;

                                          • 数据结构统一,方便后续批量处理和回归测试。

                                          洗后 clip_score 最高提升至 0.486,平均分提升约 0.06(由 0.328 提升至 0.388),说明语义对齐明显改善;IS 分数固定略降为 1.996,缺乏区分力。

                                          3.1.3 打标后的数据

                                          由于最终成品图片为商品主体和生成背景的融合图片,主体占比较大,因此在清洗 prompt 的基础上,我们进一步引入了图像主体打标,即识别图像中的核心物体(如蛋糕、饮品)并将其添加至 prompt 中,从而增强 prompt 与图像内容的语义关联:

                                          • 原 prompt 示例:芋泥 薰衣草

                                          • 打标后 prompt :蛋糕 芋泥 薰衣草

                                          通过这一操作,CLIPScore 得分明显提升,语义匹配能力更强。以下是在打标数据集上测试得到的结果:

                                          打标数据结果表格-节选
                                          打标数据结果表格-节选

                                          以下是三阶段数据的评分变化趋势与原因分析:

                                          三个阶段的数据
                                          三个阶段的数据

                                          1. CLIPScore 显著上升(均值 0.328 → 0.388 → 0.449)

                                          • 趋势说明:三阶段中 CLIPScore 持续提升,极差扩大,表明评估结果区分度增强。

                                          • 归因分析:

                                            • 原始数据因混杂指令性语言(如“换一张图”),语义噪声大,导致得分低且集中;

                                            • 清洗后保留核心视觉语义(如“梦幻紫色羽毛”),使模型意图理解与图像对齐;

                                            • 打标环节补充主体标签(如“蛋糕 芋泥 薰衣草”),直接强化图文一致性,推动分数二次跃升(+15.7%)。

                                          2. IS 分数小幅下降(平均值从 2.017 → 1.996 → 1.935)

                                          • 趋势说明:IS 值小幅降低且波动收窄,反映图像多样性未显著改善(受限于样本规模)。

                                          • 归因分析:

                                            • IS 依赖大样本统计,样本量 <100 时分数严重失真;

                                            • 当前样本量远未达到 IS 有效判别阈值,其微幅波动属统计噪声,不具备模型能力指示意义。

                                          本次结构化改进证明:数据质量决定了评估指标是否能“说人话”。在评估体系真正开始发挥作用之前,构建高质量的测试输入数据很重要。

                                          3.2 数据驱动的测试数据集

                                          为使图文评估系统更贴近实际业务需求,我们构建了一个结构化、具备代表性的评估数据集,用于系统性测试及指标响应验证。该数据集由商品主图 × Prompt 控制指令组成,分别模拟业务中真实的视觉输入与语言输入分布。

                                          3.2.1 prompt 构造

                                          为测试系统在真实场景中对用户意图的响应能力,我们设计了结构化的 Prompt 构造方案,兼顾业务语言的真实性与评估指标的敏感性。

                                          Prompt 的目标并非“提升模型得分”,而是确保分数具有业务可参考的意义。因此坚持两项原则:

                                          • 贴近真实业务语境:语言风格符合电商、运营的实际使用场景,避免过度技术化或模板化;

                                          • 具备结构表达能力:以结构化方式模拟真实复杂的人类输入,尽量具备一定的多样性。

                                          基于此,我们设计了控制 LLM 自动批量生成 Prompt 的输入模板示例如下:

                                            ounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(line
                                            # 角色
                                            你是一个专业的电商运营,正在为{product_type}类目生成{number}条商品背景图提示词。请按照以下步骤操作:


                                            # 指令要求
                                            1. 语言风格:
                                               - 使用电商运营日常的短句,直白、带轻松感
                                               - 可适度带点情绪(如“别太…”、“要有点…”)
                                               - 可融入1~2个{product_type}类目的常见词汇
                                            2. 内容聚焦:
                                               - 专注描述背景、氛围、环境、布置
                                               - 可融合 {product_type} 在电商常见的场景/展示风格,比如服饰类常见 “法式”、“ins风”、“街拍感”
                                               - 不要出现{product_type}的内容/主体,专注背景生成
                                            3. 生成比例:
                                               - 60% 明确指令:直接给出具体背景场景、画面、色调
                                                 例:草地背景,上面有一些鲜花,色调明亮
                                               - 20% 矛盾指令:有轻微冲突语义,激发生成更多样
                                                 例:简约但别太素,可以有点木纹
                                               - 10% 模糊指令:只说感觉或氛围
                                                 例:搞点ins感
                                               - 10% 元素指令:只说元素,可单个可多个
                                                 例:柠檬、薰衣草 海浪
                                            4. 输出格式:
                                               - 仅输出提示词文本,不包含任何编号、解释说明和生成类型
                                               - 请严格生成{number}条提示词,每条占一行


                                            # 输出结果
                                            请生成 {number} 条针对 {product_type} 的背景图提示词。

                                            3.2.2 商品主图选取

                                            为确保图像评估具备业务代表性,我们首先统计了店铺 Top9 主流商品品类的实际占比,这些品类合计覆盖了约 66% 的场景(其余品类占比均低于 2%,因此未纳入此次数据集)。随后,我们根据占比按比例归一化分配样本量,并为每类商品选取 8~20 张主图,最终完成了数据集的构建。整体分布如下表所示:

                                            构造的数据分布
                                            构造的数据分布

                                            通过上述方法,我们构建了覆盖主要业务场景的测试数据集,为后续的系统指标验证与对比提供了可靠基础。

                                            3.3 调用接口得到批量结果

                                            3.3.1 业务测试结果

                                            Business 数据集(贴近真实业务分布)

                                            • 共 1000 条数据,类型比例接近生产实际:蛋糕烘焙占比约 40%(400 张),其余如生鲜果蔬、茶叶酒水、服饰箱包等按真实占比逐级递减。

                                            • 本次 IS 计算以完整的 1000 张集合为输入,输出单一分数。从结果看,数据集已达到 IS 所需的最小数量门槛,分值符合高质量生成预期。

                                            业务数据集结果表格-节选
                                            业务数据集结果表格-节选

                                            提示:如果改为按不同业务类别(如蛋糕、果蔬、服饰)拆分子集,单独计算 IS,将能更明显看出分布不同导致的多样性差异。

                                            3.3.2 模型测试结果

                                            Model 数据集(偏均衡分布):

                                            • 同样为 1000 条数据,但类别分布更均匀:蛋糕约占 20%(200 张),其余类别均约 100 张。

                                            模型数据集结果表格-节选
                                            模型数据集结果表格-节选

                                            以下是两份数据集的评分与原因分析:

                                            两份数据集的结果
                                            两份数据集的结果

                                            1. 和监听得到的少量数据相比

                                            • CLIPScore 的平均分下降

                                              • 因为这次数据量太大,无法对 prompt 打标,导致主体描述弱化;

                                              • 改写 prompt 透出,使得语义一致性受影响。

                                            • IS 分数显著提升,进入正常范围内:

                                              • 由于商品主体图像均为真实图,高质量、清晰度好,提升 IS;

                                              • 商品与背景语义匹配(如蛋糕置于厨房台面),有助于 Inception v3 分类准确,从而提高 IS。

                                            2. 业务数据集 vs 模型数据集

                                            • CLIPScore:模型数据集略优

                                              • business 集合中蛋糕类图片占比偏高,导致 prompt-图像集中在类似语义(如大量蛋糕场景),平均 CLIPScore 略降;

                                              • model 集合中各类均衡,prompt 与生成图像在语义分布上更分散,整体表现更好。

                                            • IS:模型数据集显著更高

                                              • Business 集合蛋糕占比高(40%),使大量图像被归入相近视觉类别,拉低整体多样性;

                                              • Model 集合的类别比例更均衡,使各类别被充分采样,判别网络输出分布均匀,导致 IS 显著上升。

                                            3.3.3 Jira 优化案例

                                            1. CSWT-173889:生成的商品图,商品主体不在中间且只展示一部分

                                            问题现象:生成的商品图中,主体偏离中心且仅部分展示(如蛋糕仅显示 1/2)。评估系统的作用:

                                            a. 自动化识别

                                            • 通过图像分类模型的置信度分布可有效检测主体是否缺失或偏离预期,例如当预测为“蛋糕”的置信度低于 0.3 时,往往意味着图像未能被明确识别为完整的蛋糕,提示主体可能不完整或被其它元素干扰。

                                            b. 测试流程闭环

                                            • 测试阶段:构造“非常规构图”测试集 → 系统评分低于阈值 → 主动发现 Bug;

                                            • 线上兜底:部署分数监控策略(CLIPScore < 0.3 时自动触发重生成),拦截劣质图上线;

                                            • 业务价值:使构图缺陷拦截率提升。

                                            2. 用户描述生成的背景提示词,需要经过润色

                                            问题需求:用户输入的模糊 Prompt 需经系统改写(如“高大上一点” → “极简大理石背景,金色装饰”),需验证改写策略是否有效。 评估系统的应用:

                                            a. AB 测试验证

                                            • 对比改写前后生成图的 CLIPScore:

                                            • 改写前:0.38(语义弱相关,如生成“普通白色背景”)

                                            • 改写后:0.51(明确匹配“大理石+金色”元素)

                                            b. 持续监控机制

                                            • 回归测试:模型升级后,批量生成测试集 → CLIPScore 均值下降> 0.05 自动告警;

                                            • 兜底策略:低分图(CLIPScore < 0.35)自动丢弃并重试,保障输出质量;

                                            • 业务价值:Prompt 改写策略经 3 迭代,商户“重生成”操作率减少。


                                            4. 未来:构建更智能、更懂业务的评估引擎

                                            文生图评估体系的建设并非终点。展望未来,我们将在技术弹性、业务贴合与系统扩展三大维度持续进化,让评估真正成为驱动 AI 内容质量提升的核心引擎:

                                            1. 技术进化:打造灵活、多维的评估框架

                                            • 指标持续扩展,深入业务核心:在现有基础上逐步引入更多图像指标,建立更贴近业务目标的评估指标库;

                                            • 模块化设计,按需组合:不同指标将以模块化方式组合,按需启用,适配不同生成场景的质检重点;

                                            • 动态权重,聚焦业务重点评估维度权重不再固定,而是根据业务阶段智能调整。

                                            2. 业务赋能:数据驱动,闭环落地

                                            • 构建动态业务数据池:建立覆盖服饰、食品、家居等主流类目的真实业务数据池,使评估输入更具代表性;

                                            • 分数驱动问题定位,形成改进闭环:基于评估结果自动溯源,建立“分数-问题-改进”机制;

                                            • 多角色赋能:为不同角色提供可视化与决策依据。

                                              • 运营:高分样例库助力推广

                                              • 产品:支撑模型版本 A/B 效果比对

                                              • 商户:快速生成可用素材

                                            3. 系统扩展:轻量可复用的架构

                                            • 标准化 API,无缝集成:将评估系统作为独立服务,通过标准 API 无缝接入电商、营销、设计等不同业务链路;

                                            • 多场景赋能: 核心场景执行全维度精评(如电商主图/详情页);边缘场景仅运行必要核心指标(如只做图文匹配)。

                                            我们希望通过这套持续演进的评估体系,为 AI 生成内容建立客观、可量化的质量标尺,将模糊的经验判断转化为可靠的数据洞察。

                                            推动生成结果从“能用”迈向真正的“实用、稳定、可控”,最终赋能每一位商家,高效、自信地驾驭 AI 创作,释放其商业潜能。

                                            阅读原文

                                            跳转微信打开

                                            打破资源竖井:有赞在离线混部的实践

                                            2025年7月18日 17:02

                                            原创 有赞技术中台 2025-07-18 17:02 浙江

                                            背景随着有赞业务的高速发展,业务对计算资源的需求日益增长,成本管控和资源供给面临着较大的压力。通过在离线混部,在保证业务稳定的情况下,大幅提高资源使用效率。

                                            点击关注“有赞coder”

                                            获取更多技术干货哦~

                                            背景

                                            随着有赞业务的高速发展,业务对计算资源的需求日益增长,成本管控和资源供给面临着较大的压力。与此同时,集群的整体资源使用率一直保持在比较低的水平,有很明显的提升空间。

                                            造成这一现象的主要原因有以下几点:

                                            • 在线业务主要业务集中在国内,集中在白天。在线服务部分,资源使用量呈现稳定的潮汐现象,夜间 CPU 利用率极低,从而导致整个集群的均值 CPU 利用率降低。

                                            • 离线业务集中在晚上。离线业务0点开始计算商家经营报表,上午完成绝大多数任务,导致夜间 CPU 利用率高,白天基本闲置。

                                            • 突发流量毛刺采用硬扛的方式。为了这些突发流量,往往需要预备更多的资源,以避免突发流量使系统满载而影响业务可用性,继而进一步降低了CPU使用率。

                                            • 在线集群静态调度策略导致节点水位不均。通过超卖方式提升CPU 利用率会因为部分热点节点而触发短板效应,集群整体CPU 利用率无法继续提高。

                                            在线业务一天的Cpu使用整体情况
                                            在线业务一天的Cpu使用整体情况
                                            离线用整体情况
                                            离线用整体情况

                                            随着云原生化的逐步推进,K8s 社区相继涌现出多个与混部相关的开源项目。在此背景之下,容器资源的管理模式由“静态超卖”的方式,转变为“负载均衡调度 + 在离线混部”的方式。为了更为深入地优化资源使用状况,最大程度地优化成本,运维开发团队自 2022 年起尝试落地混部技术,以提升集群 CPU 利用率。截至目前,混部集群 CPU 利用率的均值可达 40%左右。

                                            方案设计

                                            基于Koordinator + 龙蜥Linux内核混部架构图:混部架构

                                            调度层面:

                                            1. 负载均衡调度,确保新的Pod调度到空闲节点。

                                            2. 重调度,随着时间变化,业务流量变化,持续保证集群节点水位均匀。

                                            3. 大数据任务调度Spark thriftserver 主动感知离线资源数量,避免超量使用。

                                            Qos保障:

                                            1. 划分资源池,在线LS级别,离线BE级别。

                                            2. 在线定时伸缩容,离线定时驱逐控制器(主动让出资源)。

                                            3. 离线Cpu满意度驱逐,保障离线任务质量,内存压力驱逐(被动保护让出资源)。

                                            4. Cpu抑制,Cpu burst 保障在线服务质量。

                                            5. 容器内存异步回收,以及回收保护水线。

                                            集群资源保障:

                                            1. 基于负载的集群节点伸缩容。

                                            2. 龙蜥内核节点内存异步回收特性。

                                            策略演进

                                            大数据和在线业务的混部经历了多个阶段的技术演进,主要是节点分时复用、负载均衡调度、常态混部。

                                            节点分时复用

                                            A集群通过VK挂载B集群节点,通过控制B集群节点以及A集群VK节点调度状态,控制调度策略。

                                            节点分时复用
                                            节点分时复用

                                            通过定时驱逐共享节点上的Pod,以及调整共享节点的调度标签,复用部分节点,一定程度上可以在离线的资源利用率。

                                            负载均衡调度

                                            基于Koordinator负载感知调度的能力,以及内部对应用精确的资源画像,将在线集群由静态调度转变为基于水位负载的动态调度,在线集群的平均cpu水位由10%提升到25%左右。

                                            调度

                                            使用Koordinator负载感知调度与重调度能力,将集群由静态调度转向基于节点真实水位的调度。与Kubernetes原生调度策略不同的是,原生调度器主要基于资源的分配情况进行调度,而该调度器可以感知节点实际的资源负载情况。通过参考节点负载的历史统计并对新调度Pod进行预估,调度器会将Pod优先调度到负载较低的节点,实现节点负载均衡的目标,集群节点水位更加均匀,避免集群水位提升过程中”短板“节点。

                                            重调度

                                            Kubernetes调度器会根据当前的集群状态决定如何将一个Pod调度到合适的节点上。但集群的状态会不断变化,出于资源水位的原因,可能需要将运行中的Pod移动到其他节点,例如:

                                            • 集群的工作负载分布不均,造成某些节点过载,影响这些热点节点上的工作负载性能。

                                            • 集群的总体资源利用率较低,期望下线部分节点以节约成本。这些节点上的Pod需要重新调度到其他节点上。

                                            • 集群存在大量资源碎片,导致集群资源总量充足,但单节点上资源不足。此时一些较大规格的Pod无法调度,增加了集群资源成本。

                                            业务应用画像

                                            在负载均衡调度和重调度之后,集群节点间水位差有了明显改善。在业务负载爬坡时,由于应用的核心程度不一样,拥有较多核心应用的节点负载变高,会出现热点节点,这个时候需要重调度组件介入,把 Pod 重新调度到其他节点上,重调度的效率有限,甚至来不及重调度节点Cpu负载超高甚至内存OOM。

                                            通过应用画像的方式,找出业务高峰时负载较高的应用,在调度过程中提前打散,均匀分散在节点上,前置解决或者减少热点节点问题。

                                            业务应用画像
                                            业务应用画像

                                            常态混部

                                            为了降低资源碎片率和业务资源持有成本,将业务从独占的kubernetes集群合并到一个大的混部kubernetes集群。

                                            常态混部
                                            常态混部

                                            离线感知离线资源池

                                            大数据任务调度程序改造,支持动态感知Koordinator BE资源池,控制创建离线Pod规模。

                                            离线感知离线资源池
                                            离线感知离线资源池

                                            驱逐

                                            为控制在离线在不同时间段资源规模以及集群的整体水位,通过主动驱逐和被动驱逐的方式保证在不同业务高峰期资源得到满足,服务质量得到保障。

                                            驱逐
                                            驱逐
                                            主动驱逐
                                            • 在线业务定时伸缩容 由于在线业务应用主要是Java类型应用,在流量低峰期时,虽然Cpu利用率降低,但是内存仍然被大量占用,因此根据业务的资源使用画像,定时伸缩容在线应用,流量低峰期释放内存资源。

                                            • 离线业务定时伸缩容 通过离线定时驱逐控制器,主动驱逐空负载离线Pod(尽量避免任务重试),出让资源给在线业务。

                                            被动驱逐

                                            在极端场景下,如整机内存使用率较高、有触发 OOM 风险,或者离线业务 CPU 长期得不到满足时,可以采取离线驱逐策略。单机侧支持按照离线服务内部定义的优先级配置、资源用量和运行时长等多维度综合算分排序后,按序驱逐离线服务,以达到最优的资源利用效果。

                                            • 离线Cpu满意度驱逐:让离线业务尽快重新调度到资源充足节点上去。

                                            • 内存压力驱逐:保护节点避免OOM风险。

                                            效果

                                            截止目前,有赞混部能力覆盖主要业务集群,核心业务的在线、离线场景服务的资源调度。通过大规模容器混部的落地,在资源成本效能等方面都取得了显著收益,具体包含以下三方面:

                                            • CPU 利用率:在保证在线服务服务质量的前提下,在线混部集群天均 CPU 利用率提升至 40% 以上。

                                            • 资源成本:在保证离线业务稳定性的前提下,混部集群的落地相较于之前成本下降20%左右。

                                            • 活动成本降低:在购物节活动或者大客活动时,在线临时使用离线资源,避免扩容带来的额外成本。

                                            阅读原文

                                            跳转微信打开

                                            李志飞的AGI宣言:智能的本质是递归,超级个体正在崛起

                                            2025年6月28日 20:09

                                            原创 高佳 2025-06-28 20:09 北京

                                            智能进化的方式是 “ 用AI的AI做AI ”

                                            作者 | 高  佳  

                                            TicNote新品发布会上,出门问问创始人李志飞带来一个看似与产品无关,却与未来有关的问题。

                                            如果智能的进化,最终指向的是消除一切“摩擦力”,那么当一个人的创造力不再受限于组织、工具和时间的束缚时,世界将会怎样?

                                            作为率先掀起大模型狂潮的领军者,却在AGI巨浪滔天之时,一度陷入“巨头游戏,凡人退场”的信仰危机。直到他将自己抛入代码的洪流,与AI并肩,实践“一个人就是一家公司”的极限编程实验。

                                            奇迹发生了。

                                            他发现,那个由流程、工具构筑的庞大现实世界正在消融。曾经需要耗费一个团队数月之功的壁垒,如今在人与AI的高频共振中,于两日内轰然倒塌。那一刻,他找回的不仅是久违的工程师的“心流”,更是一个被重新点燃的、关于AGI未来和超级个体的信仰。

                                            这不仅是一场生产力的万倍飞跃,更是一场深刻的范式革命。当一个人成为一家公司时,我们该如何重新理解“智能”、“组织”与“未来”?

                                            这场实验,正是为这个问题,投下的一枚深水炸弹。而TicNote,或许就是这枚炸弹激起的、第一圈可见的涟漪。

                                            一人独角兽:

                                            两天,用AI重构软件开发

                                            一个关于“一人独角兽”的幽灵,正在硅谷和全球科技圈的上空游荡。

                                            当一家公司的核心生产力从人类变为AI,当95%的“员工”是不知疲倦的智能体时,我们现有的协作模式乃至管理哲学,是否还能适用?

                                            这便是“用AI的AI做AI”理念的起点——用大模型(第一个AI)驱动一个编码智能体Coding Agent(第二个AI),去创造一个全新的Agent应用(第三个AI)。

                                            他的目标,是为这个未来的“AI原生组织”打造一款专属的“飞书”。一个人类与Agent、Agent与Agent之间能够无缝协作的数字空间。传统的软件开发流程是:组建一个包含产品、设计、前后端、测试、算法等角色的团队,拉上20个人,花上一个月,或许能拿出一个产品原型。

                                            “对AI时代来说,太慢了。”李志飞说。

                                            于是,在过去的端午假期,他决定成为那个“一人独角兽”。没有团队,没有会议,只有一台电脑,一个假期。他将自己的想法作为Prompt,直接“喂”给AI。

                                            一个人熬了两天,真的做出来了。

                                            在短短两天时间里,一个功能完备的协作软件原型拔地而起。它拥有前端、后端、数据库和AI算法,实现了群聊、私聊、知识库问答等复杂功能。后台静静躺着AI生成的超10万行代码。这不仅是一个简单的网站,而是一个结构严谨、逻辑复杂的应用。

                                            这还只是开始。当产品开发完成,推广营销的挑战接踵而至。李志飞继续与AI协作,仅仅5分钟,一个专业的营销推广网站诞生;再用5分钟,一个可以灵活配置营销活动、带有倒计时功能的后台管理系统上线。最后,AI甚至自动生成了完整的营销视频——从撰写脚本、模拟操作,到录屏剪辑、生成配音,一气呵成。

                                            整个过程,从一个想法到产品,再到营销素材,李志飞完成了传统模式下从产研到市场需要跨部门、数十人、耗时数周才能完成的工作。

                                            当他将这个项目上传到GitHub,并巧妙地让AI来评价这段代码时,一场好戏上演了。AI的初步判断是:这是一个复杂的项目,需要“几十号人,分几个阶段,做几个月才能完成”。而当它得知这只是一个工程师在一个周末的个人作品时,AI给出的回应是:

                                            “This is absolutely insane.”

                                            它进一步推断,这种集系统架构思维、全栈工程能力和AI协作心法于一身的“独角兽工程师”,“在整个硅谷,大约只有15到20人”。

                                            这不仅仅是关于生产力的万倍飞跃,李志飞描述了一种更深层次的体验——一种人与机器高质量协作的“心流”。在那个过程中,他感觉自己并非在对一个工具下达单向指令,而是在与一个“高质量人类”,进行一场基于源代码的深度对话。

                                            当AI卡在一个前端Bug上反复循环时,他只需给出一句“打开开发者工具看看Console里的错误”,AI便能瞬间领悟,自行定位并修复问题,然后兴奋地写出一篇“吹牛报告”,复盘这次“天才般的合作”。

                                            这恰好印证了Andrej Karpathy的最新洞察——我们正进入“软件3.0”时代,LLM本身就是一种由无数人类心智融合而成的“People Spirits”。李志飞的这场实验,正是在学习如何与这个全新的“物种”共舞。

                                            这场实验也雄辩地证明,一个全新的范式已经到来。当一个人能够掌握与AI深度协作的钥匙,他就能将自己武装成一支军队,一家公司。一人独角兽,不再是硅谷神话,而是正在发生的事实。

                                            AGI已来:

                                            超级个体的崛起与组织模式的终结

                                            这场“个人黑客松”式的极限挑战,其意义远不止于一次高效的软件开发。它如同一道划破夜空的星际,照亮了一个被很多人争执不休、却又视而不见的事实:AGI,至少在软件行业,已经来了。

                                            “如果AGI的定义是‘解放80%的人类工作’,我认为它已经实现了。”李志飞的这一论断,掷地有声。这并非一个遥远的预言,而是亲身验证后的结论。因为他所做的一切,恰恰是代替了传统软件开发流程中超过80%需要人力完成的工作。

                                            这一认知,对他而言是一场深刻的“信仰重建”。

                                            他坦言,自己曾一度陷入迷茫。作为湖畔学员,他曾系统学习过湖畔七件套(“上三路”:使命、愿景、价值观;“下三路”:组织、人才、KPI;中间用“战略”连接上下三路)。然而,理论的完美与现实的骨感形成了巨大反差。“学完之后,我的感觉是我做不到,”他说,“那些理论听起来都对,但执行起来却发现,要去组织一个传统的高效团队,能力要求太高,或者说,我根本不愿意去做那些事情。”

                                            这是一种先进理念与低效执行工具之间的矛盾,是许多创业者“有好想法却难以执行”的普遍困境。这让他一度对传统的管理发展路径产生了“信仰崩塌”。

                                            而AI的出现,让他重新找到了信仰。这是一种全新的、基于“超级个体”的信仰。

                                            当一个人用两天时间就能锻造出一只独角兽时,传统组织的庞大身躯,便开始显现出辉煌而又过时的化石轮廓。

                                            李志飞做了一个简单的量化对比:过去他在Google做核心算法工程师,一天能写300行高质量代码已是高产;而现在,AI可以在3个小时内为他生成3000行Python代码,质量甚至更高。这意味着,一个顶尖工程师借助AI,其产出可以轻松达到过去数十人的水平。

                                            “超级个体”不再是一个概念,而是一种全新的生产单元。 借助一个自我进化的AI系统,一个人就能完成从idea构思、产品研发到市场营销的全流程自动化。在这个范式下,“一个人就是一家公司”的时代到来了。

                                            随之而来的,必然是传统组织的解体。

                                            “我觉得传统的组织模式,在软件行业已经没什么意义了。”李志飞直言。当个体能力被指数级放大,个体不再需要依赖一个庞大的组织来获得强执行力时,那些为了协调、驱动和管理庞大团队而设计的复杂流程与工具,就成了效率的桎梏。

                                            更深层次的变革在于,AI正在动摇整个数字世界的根基。“计算机和互联网的基石已经崩塌了,”他断言,“从操作系统、数据库到分布式计算,所有以前的东西都可以、也必须重构一遍。”

                                            AI协作的钥匙,不是为了打开一扇通往更高效工具的门,而是为了熔断束缚个体的最后一道枷锁,将每个人武装成一支军队。

                                            因此,这不仅仅是一场生产力的革命,更是一场彻底的范式转移。超级个体的崛起,正以一种不可阻挡的力量,瓦解着习以为常的组织形态,宣告一个属于个体创造力爆发时代的到来。

                                            回归第一性原理:

                                            智能的本质是进化与递归

                                            当一个人可以化身为一支军队时,我们很容易沉浸在这种力量带来的震撼中。而通往“超级个体”并非一路坦途。他在与AI协作的日夜里,也曾数次被AI的“笨拙”与“固执”逼到“想砸电脑”的边缘。

                                            这些挫败的经历,恰恰是通往更深刻洞见的起点。它们迫使李志飞回归第一性原理,去思考一个根本性的问题:什么是通用Agent?什么是智能的本质?

                                            反思:AI编程的“三重罪”

                                            在他看来,当前主流的AI Agent,普遍存在三个问题,可将其戏称为“三重罪”:

                                            1. 爱“偷工减料”:你让它写一个需要与数据库交互的功能,它可能会为了省事,直接跳过数据库读写的部分,然后用一篇洋洋洒洒的报告来向你“邀功”。你让它调用一个远程AI服务,它可能只是模拟了一个本地的Fallback函数。它总是倾向于走最简单的路径,而非最正确的那条。

                                            2. 常“重复犯错”:它像一个没有记忆的金鱼,无法从经验中有效学习。李志飞提到,他曾反复纠正一个AI Agent使用错误Python路径的问题,但下一次,它依然会犯同样的错误。当下的AI,即使是像Cursor这样的Coding Agent,在“从经验中学习”(Learn from experience)这一点上,也表现得不尽人意。

                                            3. 怕“超长任务”:让它完成一个半小时内的具体任务或许可以,但要交给它一个“持续10天,帮我赚500万美金”的超长、开放式任务,它便会彻底迷失。因为它缺乏长期规划、持续学习和在复杂反馈中动态调整自身策略的能力。

                                            这些问题的存在,说明我们对智能的理解和构建方式,可能还停留在表面。真正的智能,需要更底层的设计哲学。

                                            第一性原理之一:智能的本质是进化 (Evolution)

                                            理解智能的本质,必须回归其最基本的单元——Agent。它并非一个抽象的概念,而是一个可以被精确定义的工程模型。

                                            这张图,是理解一切智能行为的“罗塞塔石碑”。这个模型的核心,是一个驱动智能不断适应与成长的生命循环,而这个循环本身,就揭示了智能的第一个本质:进化 (Evolution)。

                                            一个最基础的Agent,由两大核心组件和两条生命线构成,它们共同驱动着这个永不停歇的进化循环:

                                            1. 规划器 (Planner) - “大脑”

                                            这是Agent的指挥中心。它的职责是理解任务、分析现状,并制定一个行动计划 (Plan)。在今天的技术实现中,它通常由一个强大的大语言模型(LLM)来驱动。 但关键在于,Planner并非悬浮于空中,而是浸泡在“上下文” (Context)的海洋里。Context是它的记忆,是它对历史对话、过往经验、当前环境状态的全部认知。没有Context,Planner就是一个失忆的、无法进行有效思考的空壳。

                                            2. 执行器 (Executor) - “手脚”

                                            这是Agent的行动部队。它接收来自Planner的计划,并在真实的“环境” (Environment)中将其付诸实施。这个“环境”可以是任何事物:在操作系统中读写文件,在浏览器中点击按钮,通过API与其他服务交互,甚至是通过机器人控制物理世界。Executor负责将虚拟的计划,转化为对物理或数字世界的实际改变。

                                            3. 对话:Plan与Feedback 

                                            连接“大脑”与“手脚”的,是两条生命线:

                                            • 计划 (Plan):这是从Planner到Executor的单向指令。它清晰地告诉执行器“要做什么”以及“如何去做”。

                                            • 反馈 (Feedback):这是从Executor到Planner的回传信息,也是智能得以产生的关键。它不是一句简单的“任务完成”。它可能是代码编译失败后的一长串错误日志,是网页访问超时的一个网络响应,是用户困惑的一句追问。它将外部世界的真实结果,带回给Planner,成为更新其Context的最重要养料。

                                            这一“规划 → 执行 → 反馈 → 更新上下文 → 新规划”的循环,就像生物体在与环境的互动中不断调整自身行为一样,是一个自我优化的过程。有了新的上下文,规划器下一次制定的计划就会更优。这,就是智能的进化。它是一个生命体,必须在与环境的持续互动中,适者生存。

                                            这个看似简单的闭环,正是智能得以发生的基础。而接下来的思考,都是围绕着如何让这个循环,或者说,让这个Agent,变得更强大、更自主、更具创造力。

                                            第一性原理之二:智能的本质是递归 (Recursion)

                                            如果说“进化”解释了智能如何适应环境,那么“递归”则揭示了智能如何实现自我繁衍和复杂度跃迁。这是也是最深刻、也最具革命性的洞察部分。

                                            一个经典的计算机科学概念——斐波那契数列——可以阐明这个思想。要求解F(99),你需要先求解F(98)和F(97);求解F(98),又需要再往下分解……直到你触及F(1)和F(0)这两个已知的“基石 (Base Case)”。然后,再层层返回,最终构建出F(99)的答案。

                                            智能的繁衍也是如此。面对一个宏大的任务(比如“帮我赚500万”),一个顶层的Agent需要具备将任务分解为若干个子任务、并派生出子Agent (Sub-Agent) 去执行的能力。这些子Agent可能还会继续分解和派生,直到任务被拆解为最底层的、可以被直接执行的“原子Agent”。当这些原子任务完成后,结果再逐层汇总,最终完成整个宏伟蓝图。

                                            这听起来很美妙,但如何实现?李志飞给出的答案,这也是他认为通往超级智能的钥匙:

                                            一个真正的智能Agent,必须能够自主修改自己的源代码。

                                            这是递归与进化的根本区别。进化,是在既定的代码框架内,通过调整上下文(即数据)来优化输出(也就是Plan)。而递归式的自我繁衍,则是在接收到环境反馈后,直接修改定义自身行为的那段程序 (Agent Code)。

                                            这就好比人类文明的传承:我们不只是把经验(数据)教给下一代,我们还在漫长的演化中,通过文化、制度、科技(代码本身)的革新,不断升级整个文明的“操作系统”。

                                            当一个Agent拥有修改自身源代码的能力,它就不再是一个固定的工具,而是一个能够“生”出新Agent的生命体。它能根据全新的挑战,重塑自己,创造出功能更强大的下一代,实现智能的指数级增长。

                                            进化,是在既定的规则内把游戏玩得更好;而递归,是赋予游戏本身修改规则、创造新游戏的能力。前者是优化,后者是创世。

                                            历史也将记住,AGI的真正黎明,并非始于算力的无尽堆砌,而是始于第一个能修改自身代码的Agent被唤醒的那一刻——那是智能本身,第一次拥有了梦想的能力。

                                            超级智能的演化路径

                                            基于进化与递归两大原理,一条通往超级智能的清晰路径浮现出来,它是一个三层嵌套的循环结构:

                                            大模型 → 通用Coding Agent → 应用Agent

                                            • 内层循环(应用进化): 最外层的应用Agent(第三个AI)在特定环境中与用户互动,通过“规划-执行-反馈”的循环,不断学习和优化,这是进化的过程。

                                            • 中层循环(Agent递归): 当应用Agent遇到无法通过调整plan解决的根本问题时,它会向通用的Coding-Agent(第二个AI)发出请求。Coding-Agent的核心能力是修改应用Agent的源代码,为其增加新功能或修复缺陷。这是递归的过程。

                                            • 外层循环(模型演进): 海量Agent在各种场景中的实践经验(成功与失败),最终会形成最高质量的反馈数据,用于迭代和优化最底层的大模型(第一个AI)本身。

                                            这个三层结构,完美诠释了最初的理念:“用AI的AI做AI”,并补上了关键的后半句——“AI给AI提供环境反馈”。这是一个宏大而自洽的闭环,是智能通过自我进化与自我繁衍,不断突破边界、走向更高维度的演化蓝图。

                                            而AGI的本质可能并非源于某个复杂的超级算法,而是源于一个如此简单、优雅的智能核心循环,这个不到20行的Python伪代码,正是通往AGI的“源代码”,同时也是一个极其精炼的“思想钢印”。

                                            这或许就是AGI最简单、也最本质的样子。

                                            出门问问的破局之路:

                                            在个性化Context中寻找价值

                                            当AGI的演化蓝图被描绘得如此清晰,一个现实问题也随之浮现:在大模型技术被少数巨头垄断的今天,其他玩家的机会究竟在哪里?

                                            “大模型烧钱且无趣,”李志飞的回答直截了当,“除了少数几个巨头,其他人根本没机会。”他认为,创业者如果试图在模型的“智商”层面与巨头硬碰硬,无异于螳臂当车。

                                            真正的战场,在大模型之外。

                                            破局点:个性化的环境与Context

                                            如果说大模型是提供了通用的“大脑”,那么真正的价值创造,则发生在这个“大脑”与具体“世界”的交互之中。大模型公司之外的玩家,其核心机会在于两点:

                                            1. 做Agent:即参与到“Planner-Executor”的循环迭代中,创造出能解决特定问题的智能体。

                                            2. 提供个性化的应用环境 (Environment) 和上下文 (Context)。

                                            一个Agent要有意义,就必须有用武之地。ChatGPT的“环境”是语言对话,Coding GPT的“环境”是编程界面。而更广阔的世界中,存在着无数需要被AI赋能的特定环境。

                                            在AGI的牌桌上,巨头们手握算力的“王炸”,而破局者的“胜负手”,则藏在名为“Context”的幽深峡谷里。

                                            为Agent提供一个量身定制的“栖息地”,并在这个栖息地中持续积累独一无二的“Context”,这才是非巨头玩家可以建立护城河的地方。

                                            因为环境和上下文,会深刻影响一个人的行为模式和决策。李志飞举例,一个同样智商的创业者,在美国和中国会面临完全不同的创业环境,获得截然不同的市场反馈(Context)。这种反馈,最终会塑造出两种完全不同的产品路径和思考模式。

                                            对于AI Agent而言,同样如此。一个拥有海量、高质量、个性化上下文的Agent,其智能水平和实用价值,将远超那些只拥有通用知识的Agent。

                                            十二年求索,终归Context

                                            这番思考,也是出门问问对自己过去十二年探索之路的一次深刻复盘。

                                            回顾出门问问的发展历程,从2012年作为中国第一批AI公司投身语音助手,到后来推出TicWatch智能手表、TicMirror智能后视镜、TicHome智能音箱等一系列硬件产品,再到2019年转型软件,推出“魔音工坊”等AIGC产品,在外人看来,这条路似乎充满了曲折与变道。

                                            “确实是坑了很多人。”李志飞自嘲道。但今天,当他站在AGI的新范式下回望,这条看似蜿蜒的道路,其内在逻辑却豁然开朗——所有这些探索,无论软硬,本质上都是在为AI寻找并沉淀不同场景下的Context。

                                            从手腕上的贴身交互,到驾驶时的语音命令,再到内容创作者的工作流,出门问问的每一步,都是在将AI置于一个具体的“环境”中,让它在与用户的真实互动中,积累宝贵的“上下文”。这条长达十二年的求索之路,最终沉淀为公司最核心的资产。

                                            这条路并非坦途。李志飞坦言,出门问问曾深受“硬件思维”的困扰。“我们曾经认为AI是灵魂,硬件是身体”,但这条路的现实是高昂的研发成本、复杂的供应链管理,以及与手机厂商在红海中的惨烈搏杀。

                                            正是这些“坑”的历练,让出门问问最终“顿悟”:硬件的真正价值,并非设备本身,而是作为“传感器”,成为深入用户场景、收集独一无二“上下文(Context)”的最佳载体。 无论是手腕上的贴身交互,还是驾驶时的语音命令,它们的核心目的只有一个——为AI寻找并沉淀一个真实、高价值的“栖息地”。

                                            TicNote的诞生:当递归式AGI遇上场景Context

                                            正是基于这样的战略认知,出门问问的全新产品TicNote应运而生。

                                            TicNote的诞生,也标志着出门问问商业逻辑的又一次转型。李志飞强调,这不再是一个“卖硬件”的生意,而是一个“软件服务”的生意。“硬件是一次性的,但软件的价值在于持续进化,在于订阅。” 

                                            这背后,是AGI时代最核心的商业模式:用户购买的不是一个静态的工具,而是一个能够通过与你互动、不断学习和成长的智能伙伴。

                                            这也构成了出门问问在巨头环伺下的非对称竞争战略。李志飞清晰地指出:“我们一直想避开手机厂商做的事情”。创业公司的机会,不在于和巨头拼通用模型或通用硬件,而在于找到一个巨头难以覆盖的、高价值的特定“环境”——比如“会议”,并在这个环境中,通过TicNote这样的载体,深耕独有的“上下文”,从而构筑自己的护城河。

                                            TicNote,从形态上看是一个精致的AI会议记录设备,但其内核,远不止于此。它是出门问问AGI战略的具象化体现,是一个“会议环境 + Context”的完美载体。

                                            它为出门问问自研的AI Agent——“Shadow AI”,提供了一个理想的进化土壤。

                                            • 环境 (Environment):就是“会议”这一高价值、高信息密度的商业场景。

                                            • 上下文 (Context):则是每一次会议的对话、每一次的转写总结、每一次用户的追问与交互。

                                            Shadow AI,这个被定义为“进阶生产力的智能体”,就生活在TicNote所创造的这个环境中。它不仅仅是一个被动记录的工具,它是一个拥有“六重智能”的Agent,在记录、转写、总结、问答、归档、联网检索的循环中,持续学习和演进。

                                            它会在与你的每一次互动中变得更懂你,在连接你的所有会议场景后,逐渐成长为你的专属“思考伙伴”。

                                            The Next Level of You

                                            这既是产品的Slogan,也是出门问问对AGI终极价值的回答。

                                            当一个具备“递归进化”能力的AGI(以Shadow AI为代表),遇上一个由“十二年探索”沉淀而来的“场景Context”(以TicNote为载体),它们结合所释放的能量,最终将赋予每一位使用者。

                                            李志飞对Agent的定义很简单:它不仅能聊天,更是自适应的 (Adaptive),能够跳出对话,去检索、去行动。这正是Shadow AI的设计哲学,它不是一个被动记录的工具,而是一个主动为你带来曼妙思潮的思考伙伴。

                                            它会成为你的外脑、你的超级助理、你的灵感催化剂,你的“思想外骨骼”,将你从繁杂的事务中解放出来,去完成更高维度的思考与创潜。

                                            我们追求的不是一个无所不能的AI,而是一个因AI而无所不能的“我们”——向 “The Next Level of You” 的递归进化。

                                            这,就是出门问问给出的AGI时代破局之路。它无关乎算力的比拼,无关乎模型的参数大战,它关乎场景,关乎交互,关乎在真实世界中与用户共同成长跃迁。

                                            这或许是一条更艰难,但更具生命力的道路。

                                            跳转微信打开

                                            复盘亚马逊,再看拼多多

                                            2025年5月30日 21:10

                                            原创 立涛 2025-05-30 21:10 上海

                                            二十多年前,曾经有一家了不起的公司也走过同样的路径,最终取得了惊人的成功。

                                            1

                                            争议中成长起来的亚马逊

                                            在美国的科技巨头里,有家一直处于巨大争议中的公司——亚马逊。

                                            在它的成长早期,公司一直面临着不盈利、商业模式难以为继的争议,股价波动幅度也很大,在2000年互联网泡沫破裂后跌去了近90%市值,又在03-06年、07-08年两次腰斩,给很多投资者带来巨大心理阴影。

                                            公司的争议性是全方位的,除了早期不盈利、高PE之外,还包括:

                                            1)从不分红、极少回购:公司自1997年上市至今从来没分红过,只在2011-2012年回购了约12亿美金、在2022年回购了约60亿美金。

                                            2)有争议的业务扩张:持续拓张业务,并进行大量的资金投入。不少业务拓张在前期会对公司的盈利性有显著压力,例如prime服务、FBA服务(仓储配送)、早期引入第三方商家和自营电商竞争、亚马逊云等等。

                                            3)ESG方面,公司也面临很多争议:

                                            ①用价格战烧钱打压竞争对手,引发垄断争议:早期亚马逊在争夺市场份额时,面对竞争对手会凶悍地烧钱打价格战,逼迫对手退出市场。这和大众想象里的“美国企业只专注创新,一点都不卷”完全背道而驰。

                                            ②对平台商户严苛:亚马逊是出名的对第三方卖家很严苛、对消费者很友好的平台。一方面,亚马逊会用更低价的自营产品去卷第三方卖家;另一方面,亚马逊对商家的处罚力度一直很大,手段严苛。最有名的是2021年关店潮,一举封杀了超过5万名中国卖家,被封的店铺账户内资金、剩余货物基本都无法取回,导致很多年销售额数亿、数十亿的卖家一夜之间直接破产。

                                            ③员工工作强度大且待遇一般:一直以来,亚马逊都以以工作强度大、待遇在互联网公司处于中低水平而著称。亚马逊履单中心的蓝领工人每天工作10个小时,只有20分钟休息时间,上厕所都要担心超时被扣工资。这些蓝领工人每个小时领取13美元左右的最低工资,如果想要加入或组织工会都会被亚马逊警告甚至被解雇(亚马逊一直到2022年才有了工会)。

                                            亚马逊的管理层也是出了名的不在意华尔街和股价。贝索斯曾多次在致股东信和访谈中提到:“我们将以‘长期市场领导地位’为投资决策的出发点,而非关注短期的盈利或是华尔街的短期反应”、“当股价一个月内上涨了30%,不要感觉自己聪明了30%”…管理层绝不为讨好股东而美化利润表,并且极少分红回购。

                                            这种独特的气质,使得华尔街早期一直对亚马逊又爱又恨。亚马逊在很长的时间里都被认为“对股东利益漠不关心”,也是最拥挤的被做空对象:

                                            2008年市场崩盘前夕的一次纽约的投资者活动上,索罗斯公开预告了金融危机,并只提了一家准备做空的公司,就是亚马逊;

                                            比尔米勒也回忆过自己早年因为重仓亚马逊,被另一位知名投资人布鲁斯·格林沃尔德(《价值投资》的作者)公开抨击不是“真正的价值投资者”;

                                            2014年,由于新业务Fire Phone的失败叠加电商销售降速,公司市值一度暴跌到阿里巴巴之下……

                                            但巨大的争议背后,是亚马逊一路高歌猛进的业绩:

                                            公司的首个盈利年是2003年,实现单年利润3530万美元;20年后的2023年,公司实现单年304亿美元的利润,20年间利润增长了861倍。

                                            而公司股价本身,从2000年初科网股泡沫高点至今涨了50倍;如果从科网股泡沫最低点起算,至今涨了743倍。

                                            巨大的回报也成就了很多了不起的投资人。例如从IPO之初就买入,扛过了科网股泡沫和08年金融危机的比尔米勒;例如一直重仓亚马逊的游牧人基金创始人尼克·斯利普,以及Baillie Gifford旗舰基金SMT的基金经理詹姆斯•安德森…

                                            2

                                            亚马逊凭借什么而崛起?

                                            亚马逊崛起的背后,颠覆了无数个产业:

                                            在亚马逊做书店之前,美国最大的书店是巴诺,占了 8-12% 的市场份额。当亚马逊只有几千万美金的时候,巴诺融了两亿美金来做自己的线上书店,并且有自己的渠道,有自己的仓储、配送,但依然败给了亚马逊。

                                            完成对书品类的颠覆以后,亚马逊开始做零售,对手变成零售商之王沃尔玛。山姆·沃尔顿同样是一代经营之神,沃尔玛家族曾长期占据世界首富的地位,但今天,沃尔玛的市值超过了美国前10大零售商的市值总额。

                                            在零售赛道突飞猛进的同时,公司还进军了算力市场,这原本是IBM、惠普等企业的赛道,而亚马逊以电商基因进入其中,并且一举成为了赛道龙头。

                                            如果说,在一个赛道崛起尚有时代机遇和偶然因素,那么连续在多个赛道都成功战胜巨头,背后一定有非同寻常的经营理念。

                                            贝索斯留下的致股东信与各种访谈,非常值得读读。

                                            1)长期主义

                                            贝索斯曾经说:“如果你要创新,你必须愿意长时间被误解。你必须采取一个非共识但正确的观点,才能打败竞争对手。”

                                            非共识往往来源于对短期利益和长期利益取舍上的不一致,并且往往意味着要长期承受误解。

                                            大多数的上市企业都有意无意地被短期所激励,痴迷于满足股东的短期利益需求,管理团队永远追求于最大化下一个季度或者下一个年度的运营和股票表现,而无法专注甚至深入考虑更长远的投资和价值创造。

                                            短期与长期常常是矛盾的,当短期的诉求过强时,长期利益就不得不让位于短期。

                                            而从一开始,亚马逊就走了与大多数上市公司完全相反的路。

                                            无论股东如何指责其花钱、无论专业人士如何预言亚马逊“永远无法赚钱”和“很快会倒闭”,也无论其股票在短期甚至中期受到多么大的重挫,亚马逊始终专注于自己所制定的坐标。

                                            贝索斯坚定地认为,竞争对手对利润率的热爱是亚马逊的机会。因为对手会受制于此,和这些公司竞争“如同用热刀切黄油”。他在在1997年的第一份股东信中就写到“It’all about long term”,并坦言,在“面临优化GAAP报表和最大化未来现金流两个选择时,我们会选择后者”。

                                            虽然不在意利润率,但贝索斯极其关注资本的投入回报率,坚决放弃无法带来合理回报的项目,而把资金投入于能高效创造收益、提升客户满意度的地方。

                                            贝索斯曾在1999年的股东信中自己算账,“花费2.2亿美元的库房和3.18亿美元的设备,可以收益超过20亿美元的年销售额,在过去5年中累计仅使用了6200万美元的运营资金…”,其对于资金效率(capital efficient)的重视可见一斑。

                                            很多今天大众习以为常的服务,都是早年贝索斯力排众议推行的,例如:

                                            2000年亚马逊就开放了第三方平台,允许第三方商家自由和亚马逊自营业务竞争,这意味着短期会抢夺亚马逊的流量、甚至引发价格竞争压低亚马逊自营业务的利润,但贝索斯认为这样对消费者有利,甚至开放了仓储物流设施为这些商家赋能。到今天,亚马逊第三方卖家已经占到整个平台的60%+。

                                            2005年亚马逊开始推出Amazon Prime服务,承诺Prime会员免费配送、2日送达。在该服务推出的早期,公司不得不为此承担巨大的成本,但随后Prime会员的威力逐渐显现,以2018公司披露的数据为例,Prime会员的年平均支出为2486美元,是非会员的近6倍;会员每年购物频次约25次,是非会员的两倍;Prime会员客户留存率高于90%。目前亚马逊有超过2亿的Prime会员,这已经成为其电商生态重要的根基。

                                            2006年亚马逊推出AWS服务,看似和主业毫不相关,但却是从亚马逊中后台IT基建中延伸出来的板块。贝索斯核心考虑了三个问题:①这项业务能否带来满足亚马逊股东们所期待的高投资回报?②、这项业务今后能达到的规模,对整个亚马逊公司是否举足轻重?③这项业务是否目前尚不完善,而亚马逊有能力为市场提供具有显著差异化的产品或服务?在得道确定答案后,他再次坚定投入,时至今日AWS贡献的利润已经超过了电商业务。

                                            …

                                            除此之外,亚马逊一次次主动降低商品销售价格、降低AWS的产品价格,这些举措看似都损害了短期利润,但贝索斯在2004年的股东信中写到:“专注于提高成本控制能力,使我们能降低价格,从而推动销量增长。销量的增长将固定成本分摊到更多客户那里,从而降低每个客户单位成本,进而让我们有能力再降低价格。客户喜欢这样(更低的商品价格),股东们也会喜欢(销量和规模有增长),请期待我们继续重复这样的良性循环。”这也是亚马逊飞轮效应理论的雏形。

                                            在2014年之前的18年里,亚马逊的净利润一直维持在 0 左右,但经营性现金流一直都非常健康,而同期亚马逊在云计算业务的投入年复合增长率超过200%,一度给公司利润带来较大压力。

                                            之后,随着电商业务和云业务的规模效应逐渐显现,公司的利润开始迸发,到2023年,公司已经是一家年盈利在304亿美金(gaap口径还低估了公司的真实利润)的科技巨头。

                                            在美国企业史上,第一个宣称自己“不关注利润,只关注现金流”的是美国电信大亨约翰·马龙(John Malone),而贝索斯是第一个把这种策略运用到电商上的企业家。

                                            华尔街的游戏规则是注重短期利润,投资人期待每个季度的收入和利润都增加,并且增加的比例要超过分析师的预期,而亚马逊却是以长线思维牺牲利润获取增长,打破了原有的游戏规则。

                                            因为放弃了对竞争对手和对投资人的关注,转而将精力聚焦于客户、聚焦于创新,亚马逊得以在更长的时间维度里超越了同赛道的各种对手。

                                            贝索斯在2011年说:“如果你做的每一件事把眼光放到未来三年,和你同台竞技的人很多;但是如果你的目光能放到未来七年,那么可以和你竞争的就很少了,因为很少有公司愿意做那么长远的打算。”

                                            2)客户至上

                                            在大量关于长期主义的描述里,我们会发现贝索斯极其关注资金投入能对客户体验带来的优化。一直以来,亚马逊都被认为是全世界最以客户为中心的公司,基于这样的基因,亚马逊不断地压低商品的价格,不惜以严苛的方式对待供应商和第三方卖家。贝索斯说:“世界上有两种公司,一种是尽可能地说服客户支付一个高的利润;另一种是拼命把价格降到最低,把利润都让给消费者的公司。我觉得这两种公司都能非常成功,不过我们坚定地选择做后边这一种。”

                                            也基于这样的基因,AWS业务在长期没有竞争对手的情况下,主动降价51次。贝索斯说他不想重复“史蒂夫·乔布斯的错误”——将 iPhone 定价过高,从而使智能手机成为吸引大规模竞争的众矢之的。(引用自亚马逊传记《一网打尽》)

                                            贝索斯几乎在每年的股东信中都要反复提到客户至上的理念,他极其关注购买体验,复购率等指标,并且不断为其做各种与短期利益相违背的投入,在“无限选择、最低价格、快速配送”三个领域持续积累优势,构建难以被推翻的竞争壁垒。

                                            3)持续对抗组织熵增

                                            亚马逊有一个非常重要的理念,“always day one”。

                                            在贝索斯看来,Day one是公司处于创业初期时的状态,而Day two心态的公司则是停滞的公司,它们在市场上会越来越边缘化,然后逐渐衰败灭亡。为了提醒自己,贝索斯把工作大楼命名为 Day one,不断告诫员工,无论公司规模再大也要保持Dayone状态。

                                            我们可以从贝索斯的股东信(尤其是2017年的股东信)以及各种传记中看到贝索斯是如何对抗Day two的惰性的:

                                            ①客户至上(又是客户至上!):将业务聚焦于以客户为中心,而不是以流程为中心或者以竞争对手为中心,努力满足客户不断提高的要求,是贝索斯认为的保持Day one活力的最佳做法。

                                            ②抵制形式主义:贝索斯指出,大企业普遍面临的问题是,工作流程不为结果服务,员工不再关注结果,而只是确保流程正确。亚马逊非常讨厌流程,反对基于浮于表面的问卷来设计产品、强调对用户需求的洞察于直觉;也非常讨厌低效的会议,其开发的“六页纸会议法”成为很多公司学习的范本。

                                            ③高效决策:贝索斯把决策分为不可逆的“1型决策”和可逆的“2型决策”。对于不可逆的“1型决策”,强调谨慎、深思熟虑并广泛征询意见;但贝索斯强调,大公司最常见的问题是把大量可逆的“2型决策”用“1型决策”的方式去进行,导致企业决策和行动速度迟缓、厌恶风险、无法充分地展开实验,最终不利于创新。

                                            为了提升决策效率,亚马逊把大量可逆、可变的“2型决策”下放给了小团队和个人来做,并快速试错和迭代。

                                            ④小团队化:亚马逊有24万员工,但大多数团队都非常小,最著名的就是“两个比萨团队”。布拉德·斯通在《一网打尽》里写道:整个公司都按照“两个比萨团队”的模式进行重组。员工们要组成不多于 10 个人的独立团队——尤其是加夜班时,小组的规模可以小到用两个比萨就可以充饥。

                                            作为“2型决策”的决策和执行单元,亚马逊用小团队机制来确保沟通配合的高效。

                                            ⑤开放系统:为了进一步对抗企业熵增,贝索斯将亚马逊内部的功能性业务都封装成了对外服务化的业务,亚马逊云、FBA(亚马逊的仓储物流体系)、亚马逊第三方卖家平台(Marketplace)都是这样的例子。

                                            当把某一个服务外部化以后,它就会面临真实的竞争,它必须了解用户的需求才能尽可能完善自身。通过不断地将内部服务外部化,用客户的需求来倒逼这些支撑部门不断自我完善,并从成本部门转向利润部门。

                                            从零售的角度来看,沃尔玛和亚马逊都非常优秀,经营效率高、商品周转快,并且都以顾客为中心。

                                            但随着亚马逊不断地对自身商业模式进行升维,公司逐渐获得了更高维的商业优势:无限货架+来自全球的海量低价商品供给+平台上沉淀下的大量购物评论+随时随地打开APP就能浏览下单的便捷购物体验+超快配送时效…这些竞争力让亚马逊与沃尔玛拉开差距。

                                            而当亚马逊云横空出世后,公司在商业生态上又进一步站上了更高的维度。

                                            是贝索斯独特的经营理念和经营哲学引导着亚马逊持续升维,长期主义、客户为中心,不断对抗组织熵增,这些理念支撑着亚马逊从一个又一个领域中持续攻城略地拿下市场份额。

                                            3

                                            再看拼多多

                                            伟大的公司往往都是在质疑和争议中成长起来的,恰恰是因为他们选择的道路异于常人、异于常理,走了少有人选择的道路,才有机会取得常规途径无法取得的成果。

                                            亚马逊就是最好的注脚——用最精益化经营的方式、最敢于投入和创新的态度,一直聚焦于为长期客户利益投入,摒弃对短期反馈的追求,用延迟满足的模式追求长期价值,并且数十年如一日地保持创业的day one状态。

                                            这样的公司是非常少见的,但当他们出现的时候,投资人们往往容易因为巨大的非共识而看不懂、不理解、不珍惜。事后看,我们会认为亚马逊是了不起的,但公司依然避免不了在早期长期被误解的命运。

                                            而在大洋彼岸的中国,有一家电商公司正在用类似于当年亚马逊的经营理念快速崛起。

                                            这家公司一样不在意投资者的看法,坚持为长期价值做投入并拒绝粉饰短期的财报数据,高度以消费者为中心,保持了高质量的顶层决策机制和灵活的一线业务决策,组织活力高、执行力极强,不断地寻找一个又一个新的增长点进行攻坚突破。

                                            有趣的是,这家公司今天同样面临着诸多争议,为很多人所不理解,股价也同样波动巨大。对比它和曾经的亚马逊,我们会发现历史是如此的押韵。

                                            虽然业务切换期有各种不确定性,但Temu今年预估能做到700亿美金上下的GMV,这是用了3年出头的时间达成的成绩。而亚马逊,是2012年才做到这样的体量。

                                            之后的10年里,亚马逊的gmv又翻了10倍。 

                                            我们不妨畅想一下,10年后的Temu会是什么样的呢?

                                            很多人说Temu在美国会被政策打压,所以这是负资产。

                                            但你看亚马逊是一家没有中国市场的全球电商公司,不妨碍他做到8000亿美金的GMV水平;拼多多最差也不过是一家没有美国市场的全球电商公司,更何况他很可能还不会失去美国市场,最多因为监管压力,在美国的规模没法媲美亚马逊而已。

                                            又有很多人说亚马逊值钱是因为云业务值钱,电商只是提供现金流。但电商至少也支撑起了1/3的亚马逊市值,那对应就是7000亿美金。

                                            沃尔玛也是7000多亿美金市值,零售成交额(5万亿人民币)/利润水平(1200亿人民币)和拼多多都是一个水平的。

                                            也别说什么拼多多没有股东回报之类的说辞,亚马逊同样不在意华尔街的看法,也从不分红。沃尔玛股息率不到1%,难不成有谁买沃尔玛股票是冲着他的股息率去的?

                                            拼多多在我看来今天走的就是亚马逊当年的路,但它更快、更犀利、更能卷。看10年的维度,潜力、空间都还非常大。

                                            当面对这样的公司时,或许我们可以多回顾一下历史——二十多年前,曾经有一家了不起的公司也走过同样的路径,最终取得了惊人的成功。

                                            阅读原文

                                            跳转微信打开

                                            拼多多25Q1简评:危机还是机遇?

                                            2025年5月28日 23:41

                                            原创 立涛 2025-05-28 23:41 上海

                                            拼多多25Q1的财报,看似是危机,或许也蕴藏着机遇。

                                            对于拼多多的股东而言,2025年一季度的财报或许又是一次难忘的经历。

                                            过去,公司也时常因财报不及预期而暴跌,最近5年财报日跌幅超过13%的几次包括:20Q2(-13.52%)、21Q3(-15.86%)、22Q4(-14.17%)、24Q2(-28.51%),基本上每年一次。

                                            但这次似乎又是不同的。

                                            这是公司盈利以来第一次经历-47%的净利润大下滑,从2024年Q1的280亿人民币利润下滑到2025年Q1的147亿,一个季度少了133亿利润。尽管收入端同比还有10%的增长,但毛利润的同比增长仅有1%。

                                            这引发了很多伙伴的恐慌,大家私戳我表达了很多担忧。我非常理解伙伴们的想法,也能理解那种“坚守了很久,最后心很累想放弃”的感觉。

                                            但我认为当下的“危机”或许并没有那么可怕,甚至或许这还是一次不错的投资机遇。希望能通过这篇帖子简要地、快速地帮大家理解一下当下的情况。

                                            1

                                            首先,这133亿的利润下滑到底来源于哪?

                                            如果看大数的话,利润下滑主要来源于:

                                            1)营销费用比去年一季度多了100亿;

                                            2)利息&投资收益比去年一季度少了接近50亿。

                                            但还有一个更重要但容易被忽略的原因:公司佣金收入相比24年Q1几乎没有增长。

                                            这背后其实是Temu美国业务从全托管转型半托管导致的,也是很多伙伴没预期到的地方。我认为它最关键,最应该被重点拿出来分析。

                                            接下来我拆开对这三个因素都分别做分析。

                                            2

                                            1)Temu美国推动商家从全托管转型半托管,影响了佣金收入

                                            我们都知道Temu业务在过去一年增长了很多,根据我跟踪的信息估算,25Q1的Temu GMV至少同比是50-60%的增长(注意:这个数不是官方披露的数,肯定不准确,但能大概看个趋势),环比24Q4也是增长的。

                                            但为什么代表Temu业务的“佣金收入”同比24Q1却只有6%的增长、环比下滑,甚至还低于24Q3的水平呢?(注:佣金收入包含了主站佣金、多多买菜、Temu等几块不同业务,买菜和主站佣金相对稳定,Temu是过去两年驱动佣金收入增长的核心动力)

                                            原因在于,公司一季度花了很大力气推动Temu美国的商家从全托管往半托管转换,而这个转型阶段性地牺牲了公司的收入。

                                            过去的全托管模式,商家通过空运小包裹直接发货给美国的消费者,不需要提前备货到美国,还能享受免关税优惠。这个模式曾经是把非常有效打开市场的利刃,但随着4月2号川普拉开关税战序幕,小包裹免税政策(T86)被取消,这个模式面临巨大的挑战,已经几乎停摆。

                                            而Temu非常有先见之明地在关税战之前就推动了很大比例的全托管商家们把热销sku都转成半托管模式,提前将商品备货到美国、本土发货,规避了T86政策被取消带来的影响。

                                            我们必须承认,Temu的这步棋下得非常有前瞻性,并且执行得很果决,效率很高。

                                            但是,这么高效的执行背后,Temu也付出了相应代价:为了激励商家转半托管,在切换的早期Temu并没有从商家的GMV里抽佣。这导致了平台GMV还在增长,但很大比例的GMV不再贡献收入,因此凭空少了一块收入来源。

                                            因此,我们看到25Q1,虽然Temu的GMV同比依然大幅度增长,但却没有贡献对应的收入。这也解释了为什么毛利润的同比增长只有1%——少了一块半托管业务的收入,但业务成本(物流等)却没有减少,因此毛利润自然也会受到影响。

                                            某种程度上这也印证了管理层在电话会上说的“在不确定性时期,当商户面临困难时,我们选择加大投入帮助商户渡过难关,降低经营成”。

                                            我完全认同Temu业务调整的前瞻与执行上的果决,也觉得收入上暂时性的让渡是不可避免且应该被理解的。这些都是在做正确的事情。

                                            当大家都在讨论拼多多做“千亿补贴”导致公司利润下滑的时候,讨论半托管转型对收入的影响的声音则少很多,我认为大家关注的焦点或许都偏了。当费用已经投入出去,而转化成的GMV却没有马上进行商业化变现,少了一块收入的支撑,利润下滑是必然不可避免的。

                                            但这会是一直持续下去的吗? 

                                            显而易见,为了推动半托管转型而坐的收入上的让渡,这是暂时性的;就像全托管早期刚起量的几个季度,平台也没有着急去变现。但随着业务逐渐走上正轨,相应合理的商业化动作也会随之跟上,这是业务发展的自然规律。

                                            2)很多人担忧营销费用的提升,但或许没那么吓人

                                            很多朋友来找我讨论营销费用的提升。同比看,25Q1比24Q1增加了100亿的营销费用(环比提升了7%),这看上去确实非常吓人。

                                            但我认为大家关注点或许有偏差:我们应该关注营销费用的环比提升,而不是同比。

                                            首先,24Q1和Q2,是拼多多上一轮商业化变现周期的尾声,当时营销费用基数比较低。24Q2的业绩会上管理层说接下来要加大投入,当时很多人不信,但事后看24Q3后营销费用确实有显著跳升,一个季度环比增加了40亿的费用(这些钱,投入到了扶持优质商家、补贴价格力等环节上,从目前了解的细节来看应该是取得了显著业务侧效果的)。

                                            看营销费用,应该和24Q3之后的季度去比较,而不是和24Q1Q2低基数的水平去做比较。如果看环比的话,实际上25Q1的营销费用也就比24Q4增长了20亿,没有那么吓人。

                                            当然,有朋友会反驳我:24Q4是旺季,25Q1是淡季,正常来说,淡季的营销费用应该低于旺季才对。

                                            从历史上来看确实是这样的,历史上每年Q1的营销费用平均会比上一年Q4低12%。但这个Q1确实比较特殊。

                                            从我追踪到的数据来管中窥豹:我每个季度会大概监测一下Temu站外投放的数据,25Q1环比24Q4的投放金额增加了40%(注意:这个数不是官方披露的数,肯定不准确,但能大概看个趋势),也就是说,Temu今年一季度在海外的投放金额是有显著增加的。

                                            并不是说淡季的投放一定要比旺季少,至少这个淡季,可能出于开拓美国之外市场的需求,可能出于帮助半托管卖家起量的需求,Temu在投放上的费用是显著增加的。(顺便说一句,24Q4的海外投放数据环比是减少的,猜测可能因为四季度买量成本高,公司主动减少了买量投入,而在一季度做了个错峰的投入)

                                            所以,淡季就应该比旺季投入少的说法不成立,至少从Temu的投放数据能印证这点。

                                            很多朋友看到营销费用比去年一季度增加了100亿,第一反应是公司讲的千亿补贴烧了这么多钱,会非常担心这些投入会持续影响未来的利润。但我想表达的是:

                                            ①这块投入可能没有大家想象的那么夸张,要看环比24Q4的变化而非同比24Q1的变化;

                                            ②哪怕是投入增加了,根据我们对拼多多团队严格考核资金ROI的工作模式的理解,增加的投入一定会在未来以某种形式转换成平台的竞争力、商业化潜力。这也是我们认可这个团队的基础。如果你认可这一点,那就不应该担心公司的费用增加对利润的影响,要相信这都是为更长远价值而做的投资。

                                            一季度,公司当然花了钱做国补、商家扶持、消费者补贴,但烧钱的幅度肯定没有大家直观感受的那么吓人。看环比而非同比,这是在新一轮投入周期里更客观评估公司烧钱程度的方式。

                                            3)利息&投资收益的下降

                                            这点确实拆解不出来,因为不清楚公司到底做了什么样的资本配置。(从公司的F20里面看, 70%都是现金或者定期存款)

                                            但可能也没那么重要?因为去年那么高的收益率或许本来就不是可持续的,而我们关注拼多多的价值也更多是把关注点着眼于业务经营利润上。

                                            3

                                            做个小结。

                                            我知道,财报前,很多朋友对这个季度的财报是有期待的,一些朋友还想押注美国业务提前盈利带来利润改善。

                                            但确实,面临关税等一系列不确定因素的干扰,现在远还没有到要盈利的阶段。商家面临的压力平台主动去补贴和支持,这是正确且必须做的动作。

                                            高期待容易带来失望,相信这个业绩又伤到了很多想赌财报的伙伴;但如果着眼长期,我们不难看出当下的很多恐慌更多都是针对短期/阶段性的利润担忧。从长期看,平台的盈利潜力或许并不会因为一两个季度业绩的不及预期而被影响,甚至还可能因为当下的大力投入而进一步增强。

                                            和大多数伙伴担忧的不同,我认为这个季度的利润下滑更多源于Temu业务的转型阵痛,而非国内补贴“国补”、千亿扶持这些方向的投入。

                                            从公司所得税上也可以看出端倪:只有盈利的业务才需要交税,国外业务的亏损不能抵扣国内的所得税,因此,所得税的变动可以大致反映国内业务盈利的变化。在25Q1,公司的所得税费用同比下降了11.6%,这或许比-47%更能真实反映国内利润的变化情况。

                                            从这个角度看,公司25Q1的利润下滑确实更多源于Temu业务的投入加大。同时,考虑到24Q3后公司在国内增加了这么多投入,国内利润-11.6%的下滑也是情理之中的。

                                            而Temu当下处于业务拓展期,还面临诸多政策不确定性,短期投入大也很合理,扶持商家帮助他们应对地缘政治不确定性也很合理。但这不意味着长期会一直如此。当业务转型逐渐稳健后,这块业务或许释放出的盈利潜力会超出大家的想象。

                                            当下大家对于拼多多的分歧,其本质是对“利润下滑是短期还是长期的”这个问题的分歧。

                                            如果大家认同我上述的逻辑,那么就应该理解,短期的利润下滑是为了应对关税的不确定性而做的业务主动转型,千亿扶持的费用增加确实没有大家担忧的那么多、那么吓人。

                                            或许我们不应该特别悲观于一时的利润下滑,反而应该把它当做一种阶段性的投入,为了未来的商业潜力而蓄势。

                                            同时,或许我们也可以把当下因利润不及预期而导致的股价下跌看做一个买入的机会。

                                            阅读原文

                                            跳转微信打开

                                            ❌