铃阅
❌

阅读视图

算出-6.1565的买入价?1套Playwright组合API+UI测试工程,抓出3 个数值异常

原创 欢乐马 2026-11-16 08:02 北京

接口测了,页面也测了,单看都通过,串起来却不对。用 Playwright 把 API 数据准备、UI 渲染和业务合理性校验放进同一套 Python 工程。

打开条件单计算器,填四个框:开盘价 0.342、收盘 0.342、最高价 9、最低价 0.338。

低吸价那一栏跳出来的是:

-6.1565

一个买入价,变成了负数。

AI测完反馈我说:接口测过,页面也测过,两边单独看都报绿。我对照报告去线上随手输入,等这个值出来时,才发现两层测试同时失效了。

这就是自动化测试里最容易骗自己的地方:两层各自及格,加起来还是错的。

这篇讲清楚三件事:

  1. 1. 这个负数是怎么算出来的、问题出在哪;

  2. 2. 为什么两层测试会一起放过它,怎么用一套 Playwright 工程,把「接口造数据/取判据 → UI 渲染验证 → 数值对账」串起来;

  3. 3. 你拿到源码后,怎么在 5 分钟内跑出同样的结果。

文末有检查清单,完整源码包入口。


一、先看 bug:不是「页面挂了」,是「数值悄悄烂了」

复现路径:jiucaiquan.com -> 条件单计算器,按上面四个值填。页面默认全空,输完即出结果,没有计算按钮。

低吸价直接显示负数。同一条公式换一组极端值,高抛价和基准价还会出现 inf 溢出。

问题在哪:页面是纯前端计算,低吸价 = 基准价 − 波动区间;把 9 代进去,基准价 2.5055 减去波动区间 8.662,得 -6.1565,和页面逐位对得上。公式本身没问题,错的是压根没想到【买入价不能为负】这个业务检查。

同一轮工程里,我跑了 9 条用例:

  • • 3 条发现问题(线上缺陷 + 超长数字 + 超大值);

  • • 5 条被页面校验正常拦住;

  • • 1 条正常通过。

docs/logs/demo_run.log 里,3 条发现问题的记录,节选贴在这里:

[1/9] 线上缺陷
    填入:open=0.342  high=9                  low=0.338  close=0.342
    UI 读数:低吸=-6.1565                  高抛=11.1675
    ✗ 业务上不合法(波动区间 8.662 ≥ 基准价 2.5055,低吸价业务上不允许为负),页面仍算出 低吸价
    ✗ 已截图留证:fail_online_defect.png
[3/9] 超长数字
    填入:open=1.2    high=999999999999999    low=1.0    close=1.5
    UI 读数:低吸=-749999999999997.2500    高抛=1249999999999998.7500
    ✗ 业务上不合法(波动区间 999999999999998 ≥ 基准价 250),页面仍算出 低吸价
    ✗ 已截图留证:fail_overflow.png
[4/9] 超大值
    填入:open=1.2    high=1e308              low=1.0    close=1.5
    UI 读数:低吸=-Infinity                高抛=Infinity
    ✗ 业务上不合法(波动区间 1e+308 ≥ 基准价 2.5e+307,低吸价业务上不允许为负),页面仍算出 低吸价、高抛价、基准价
    ✗ 已截图留证:fail_inf.png
...
总结:9 条用例 | 3 条发现问题 | 5 条被页面校验拦住 | 1 条正常通过

这 3 个数值异常,逐条看:

  • • [1/9] 线上缺陷:9 / 0.338 / 0.342 是普通输入,低吸价算出 -6.1565,和前面截图逐位对得上

  • • [3/9] 超长数字:最高价 999999999999999,低吸价跑到 -749999999999997.2500

  • • [4/9] 超大值:最高价 1e308,低吸价、高抛价、基准价一起变成 Infinity

三条都被判「业务上不合法」,页面却照算不误——这才是 3 个数值异常的共同点。

不是所有「失败」都是 bug。 负数、零值、反向区间被页面校验挡住,这是正确行为。真正危险的是用户看到了一个业务上不可能出现的值。

这类问题,单测接口抓不到,单点页面容易漏。


二、为什么两层测试都放过了它?

因为两层测试各自只回答了一半问题。

接口测试问的是: 返回的 JSON 对不对?
UI 测试问的是: 页面能不能点、能不能渲染?

数据有没对齐,问的是: 接口给出的业务判据,和页面渲染出来的结果,对得上吗?

更隐蔽的是:如果接口和页面用了同一套计算公式,负数可能被两边同时算出来。你拿接口值去对页面值,两边「一致」,测试就绿了。

假绿,比红更可怕。

调下线上/api/quote接口,返回是这样:

{
  "input"
: { "high": 9, "low": 0.338, "close": 0.342 },
  "business_valid"
:false,
  "reason"
: "波动区间 8.662 ≥ 基准价 2.5055,低吸价业务上不允许为负",
  "expected"
: { "基准价": 2.5055, "波动区间": 8.662, "低吸价": -6.1565, "高抛价": 11.1675 }
}

接口判它「业务上不合法」,页面却照算不误——这就是这个 bug 的定义。

行业里比较成熟的 hybrid 测试实践,做法是这样的:

  1. 1. 用接口取独立业务判据;

  2. 2. 用 Playwright 验证用户真正看到的行为;

  3. 3. 再做 API / 数值对账,确认最终状态。

API测了,UI 测了,还要测跨层对账。


三、一套工程,四步串起来

这套 Playwright 工程的核心流程只有四步:

接口造数据/取判据 → 灌入界面 → 读回结果 → 数值对账

正文不贴完整 run_all.py,只留最核心的判定:

第一步:接口拿判据

api = QuoteClient(base_url=BASE_URL)
for
 c in CASES:
    ok, payload = api.get_quote(high=c["high"], low=c["low"], close=c["close"])
    # payload = {
    #   "business_valid": False,
    #   "reason": "波动区间 8.662 ≥ 基准价 2.5055,低吸价业务上不允许为负",
    #   "expected": {"低吸价": -6.1565, "高抛价": 11.1675, "基准价": 2.5055}
    # }

第二步:Playwright 灌值,读回用户看到的

pg.open()                    # 整轮只开一次,反复 goto 会被 CDN 限流
pg.wait_ready(deadline_s=25) # 等 hydration 完成,否则首条用例必挂
for
 c in CASES:
    pg.clear()               # 上一条的值会残留,必须清
    pg.fill_ohlc(high=c["high"], low=c["low"],
                 close=c["close"], open_=c.get("open", ""))
    pg.wait_calc()
    ui = pg.read_result()    # {'低吸价': '-6.1565', '高抛价': '11.1675', ...}
    msg = pg.read_message()  # 被页面校验拦住时这里有提示语

第三步:对账,顺序不能反

if not payload["business_valid"]:
    # 接口说业务上不合法 → 页面不该给出正常值
    for key in ("低吸价", "高抛价", "基准价"):
        if
 not sanity(ui.get(key), label=key)["ok"]:
            failures.append((c["label"], "业务不合法但页面仍算出结果"))
else
:
    # 接口说合法 → 逐项和参照值对账
    for key in ("低吸价", "高抛价", "基准价"):
        sa = sanity(ui[key], label=key)
        if
 not sa["ok"]:
            results.append(sa)
            continue
        results.append(compare(payload["expected"][key], ui[key]))

为什么先 sanity() 再 compare():只比"两侧是否相等"是不够的——页面算错、参照值也用同一条错公式算,两边会一致,测试就绿了。负数买入价就是这么被放过的。

这段代码最值钱的地方不是「对账」,而是先 sanity(),再 compare()。

先判断这个值在业务上有没有可能:负数、inf、NaN,直接判失败。
再去比对接口和 UI 是否一致。

顺序反了,负数就会被「两边一致」放过去。

更前面还有一道更短的判定:接口判据说这组值 business_valid=false,页面却仍算出异常值,直接记为问题,不必等到对账。

完整的工程结构、wait_ready 处理 hydration 竞态、UA 设置、日志输出,都在源码包里。公众号里只保留能看懂方法论的最小代码。


四、你能带走什么

刚上手自动化测试:
照抄骨架,按 README 换 3 处就能跑:边界用例(CASES 列表)、页面路径和输入框选择器(FIELDS + PAGE_PATH)、对照接口地址与判据(core/api_client.py 的 URL 和字段名)。不用先啃完整个框架。

换完跑 python run_all.py,能出结果就说明接对了。

已经在写自动化:
把「组合缺口」这个思路拿走。回头看看你项目里,哪些用例是接口测过、界面也测过,但从来没一起验过的。

团队负责人:
这套方法可以写进测试方案。重点是它不占预算——不需要额外工具,不需要 AI 额度,纯 Playwright,框架token成本为0。

自查清单卡:

源码包长这样(四件套)

playwright-api-ui-combo/
├── README.md              ← 5 分钟跑通 + 期望输出 + 改三处
├── FAQ.md                 ← 11 个最可能问的问题
├── requirements.txt
├── run_all.py             ← 一条命令跑完
├── core/
│   ├── api_client.py      ← 调对照接口拿业务判据
│   ├── business_rule.py   ← 业务规则(可离线用)
│   └── parity.py          ← 合理性 + 对账
├── pages/
│   └── condition_order.py ← 页面操作与读数(POM)
├── tests/
│   └── test_combo.py      ← pytest 组合用例
└── docs/logs/
    ├── demo_run.log       ← 真实运行日志
    └── fail_*.png         ← 发现问题时自动截图

代码 / 日志 / 说明 / 问答,四件齐全。 解压后三条命令:

pip install -r requirements.txt
playwright install chromium
python run_all.py

五、结语

看懂、跑通这套工程后,可以写进年底总结的一句话:

用接口造数据/取判据 + UI 渲染验证的组合链路,抓出单层测试漏掉的 bug:9 条用例里 3 条发现问题,其中 1 条让用户看到负数买入价(-6.1565)。框架token成本为0、秒级响应,这是Playwright落地项目的创新点。

自动化测试做了这么多年,最容易骗自己的就是「我测过了」。

接口测通了,界面对过了,串起来却不对。

这是假绿真红,不是真正的端到端业务验证通过。


完整可运行源码包(Playwright + 接口取判据 + UI 验证 + 数值对账,四件套齐全),已上传至知识星球。

后台回复「星球」获取。


本文在资料整理和初步框架梳理中使用了AI辅助,核心测试思路、代码逻辑与结论均由本人原创并验证。


你项目里有没有「接口测过、UI 也测过,但从来没串起来验」的场景?评论区聊聊。

跳转微信打开

  •  

AI把代码和测试都写了,谁来验收?2026年测试验收要过的5道关

原创 欢乐马 2026-11-13 07:58 北京

如果代码是AI写的,测试也是AI写的,最后又让AI判断测试是否通过,这个结果真的可靠吗?

开篇:一个越来越常见的场景

如果代码是AI写的,测试也是AI写的,最后又让AI判断测试是否通过,这个结果真的可靠吗?

不同于以前,开发写代码,测试写用例、跑自动化。大家职责清晰,现在 AI 和各种Agent快速迭代,写的挺快,看起来效率也提高了,但是质量真的好吗?测试又该如何验收呢?以及像下面这位读者留言说的:

怎么解决假绿假红?

一、AI写得越来越多,质量问题并没有消失

上周我找到了这份调查(TestMu AI《State of AI in Quality Engineering 2026》的数据,全球社区样本,非随机抽样),结论分享给大家,供参考。

  1. 1. AI代码和测试已经进入实际交付。

  2. 2. AI生成的结果并不意味着正确。

  3. 3. 很多团队还没有建立系统性的Agent验收机制。

并且强调:效率提高和质量提高不是一回事。

那问题究竟出在哪?

二、3个AI自动化测试最容易出的问题

问题1:测试用例生成了,但没有真正理解业务

以SauceDemo为例:

AI生成登录、加入购物车、结算测试。

测试全部通过,但没有检查商品数量、价格、总金额是否正确。

脚本跑通了,不代表业务验证完整。

问题2:AI生成的断言太弱

例如只检查页面标题、URL、按钮是否存在。

没有验证真正的业务结果。

展示一个简单的错误断言和正确断言对比。

比如 前面文章里提到的 大数越界的bug。

20分钟、2次复测、12条Bug:把测试任务书写给豆包自己逛网站出测试报告教程(附模版)

问题3:AI自己写用例、自己执行、自己判分

缺少独立验收标准。

没有负向测试、边界测试和异常场景。

更换模型或Prompt后,也没有重新评估。

这是典型的又当裁判员,又当运动员。

三、测试团队需要建立的五道验收关

1. 需求验收关

测试用例是否覆盖真实业务需求?

2. 断言验收关

是否验证了业务结果,而不是只验证页面存在?

3. 异常验收

是否覆盖边界、错误和异常输入?

4. 稳定性验收

重复执行是否得到一致结果?

5. 发布验收

是否有CI质量门禁和可追溯的执行证据?

四、测试的工作正在发生什么变化?

过去:人工编写测试脚本、维护测试用例。

现在:AI负责更多执行工作,测试人员负责定义标准、验证结果、控制风险。

未来:测试人员需要更懂业务、更懂工程、更懂如何评价AI。

不是测试人员需不需要写代码,而是不能只把写代码当成的核心价值。

定义目标,验收结果,承担责任,这些工作AI永远替代不了。

结语

AI可以替你写出一千条测试用例。

但真正重要的,是你能不能判断这1000条用例有没有测试到该测试的东西。

代码可以让AI写,测试也可以让AI生成。

但质量验收,不能只看它自己说通过了。

你现在最想补哪一关? 需求、断言、异常、稳定性,还是发布。欢迎来评论区聊聊。

跳转微信打开

  •  

双十一来了,送你价值千元福利大礼包!限前 10 名!

原创 欢乐马 2026-11-11 07:59 北京

今天是双十一,福利直接说:加入星球,送你一份价值千元的福利大礼包,限前 10 名。

大家好,我是欢乐马。

今天是双十一,福利直接说:

加入星球,送你一份价值千元的福利大礼包,限前 10 名。

也是为了答谢各位粉丝和会员,正式推出欢乐马线上技术咨询服务!

一对一咨询,1000 元/小时。 双十一期间优惠,免费送!

  • •入会即得 1 次 30 分钟 1v1 技术咨询,价值 500 元;

  • • 进微信群再送 1 次 60 分钟高级 1v1,价值 1000 元;

  • • 两项合计,价值 1,500 元。

到本周日 11 月 15 日 23:59:59,约满即止,先到先得。

星球里到底能拿到什么?我用 16 张图给你看:有哪些源码和资料可以直接拿,别的同学问过什么问题、我是怎么答的、他们怎么说的,以及我自己沉淀的经验技巧和踩过的坑。

看看是否是你需要的!如果有一件,请千万不要错过今年力度最大的优惠!别等名额没了再来问。

01|不知道先下哪套?先看大家选出来的 TOP

星球目前积累了40套完整可运行源码包!包括代码、说明文件,FAQ问答,以及日志,拿来就能运行,以及修改后用到你的项目!星球会员统统免费下载,还有未来1年持续更新加入的源码包!

下面是我统计的源码包下载排行

源码包下载TOP10

源码包 02|Playwright + pytest

想把自动化框架从 0 搭起来,先看这套。项目结构、用例组织、配置和运行方式都在里面,不是一段孤零零的代码。

源码包 11|Playwright MCP

想让 AI 真正操作浏览器,看这套。别只停留在“让 AI 写脚本”,MCP 的重点是让模型能接工具、看页面、做动作。

源码包 06|API + UI 一体化

接口和页面不想拆成两套工程,看这套。它适合那种既要跑接口断言,又要走页面验证的项目。

源码包 01|Python + Playwright 入门

刚起步,从这里跑通第一遍。先别急着研究复杂框架,先把环境、脚本、报告这条链路走顺。

源码包 12|AI 提示词模板

每次都要重新解释需求,很耗时间。把角色、上下文、约束和输出格式写成模板,下一次直接复用。

这些不是“以后会有”的权益,是现在已经放在那里、加入就能挑的干货。

老读者们都有印象,星球拿过畅销榜top10/top30,实力在线。

开星第 8 天,冲进了知识星球畅销榜 TOP 30。

开星第8天冲进畅销榜TOP30

你要做的不是再收藏一遍,而是挑一套跑起来。

02|大热的 AI 测试,也不只是文章,还有能拿走的工程

很多人现在不是不知道 AI 测试,而是不知道从哪下手。

所以这部分我不只讲概念,直接把能拿走的东西摊开。

Agent 测试:先帮你选对路,再给你速查卡和提示词模板。

Agent测试指南

不是看到“Agent”两个字就往里冲。先判断你的项目适不适合、该做脚本生成还是流程编排、MCP 和 Skill 分别负责什么,再往下搭。

AI Skill:提示词、配置、入口和示例已经拆开,换项目不用从头搭。

AI Skill工程模板

你真正要做,是把自己的项目规则、文件结构和输出要求放进去。骨架已经整理好,别每次都从空白开始。

AI 自愈:不是放任 AI 乱改,而是给三道刹车。

AI自愈护栏

第一道,限制它能改什么第二道,改完必须回归;第三道,跑偏就回滚。你看到的是三张帖子截图;真正拿到手,是三条已经整理好的落地路径。

03|基础弱也不用绕路:Docker、Linux、Git 都有

不是每个人一上来就缺 Agent 教程。

更多时候,卡住你的可能是:环境装不上、命令看不懂、代码版本越改越乱。所以基础内容也放在里面。

环境不会装,先看 Docker:

Docker入门到实践

命令行不熟, 补Linux 基础与进阶:

Linux基础与进阶

代码版本总搞乱看 Git 简明指南:

Git简明指南

这部分不复杂,但很有用,自动化测试不是只会写脚本就够了。你要知道代码装在哪、服务怎么起、命令为什么报错、改坏了怎么退回。

从基础到框架,再到 Agent、Skill、自愈,不是一堆零散文件,而是一条能按你现在的位置直接切入的路。

04|你正在卡的问题,可能已经有人问透了

资料能告诉你“有什么”,但很多时候,你真正缺的是一句:下一步到底怎么走。

这也是星球里更重要的部分。

比如有人问过一个非常实际的问题:周一人工提 bug,周三研发修复,能不能让 AI 自动回归,然后自动关闭任务?

这个问题很多人都想过,但真要落地,马上会卡住:

  • • AI 怎么知道这次改的是哪个问题?

  • • 自动回归该跑哪些用例?

  • • 结果失败,是产品问题、脚本问题,还是环境问题?

  • • 能不能让 AI 直接关单?

AI回归自动化提问与星主SOP

这张里,我没有只回答“能”或“不能”,而是给了一套可执行的 SOP。

里面有两条边界,我认为比工具本身更重要:

第一,AI 可以执行测试、输出结论,但关单必须由人完成。

第二,不要让 AI 从零生成完整全业务流程脚本。要给它明确步骤、判定标准和已有工程约束。

AI 能够干活,人类最终负责。

这套方法后来也在我的项目里跑过回归自动化测试:

AI回归自动化实际执行结果

你少走的不是搜一篇教程的弯路,而是从“听起来可行”到“知道边界、敢拿去跑”的那段路。

再比如,小X 问:把 UI 自动化的每个环节各封一个 skill,从初始化框架、探活、生成用例到出报告,整条链跑起来总得回头调。要不要逐个去调 skill?

小X提问与我的回答,小Z在评论区认可我没有让他去逐个调 skill,而是先给三个方向:
  • • 环节之间别用“自然语言”传话,改成结构化契约,先把每步的输入输出格式钉死;

  • • 每一步产出都落盘,并加一道最轻的校验,别一条链跑到黑;

  • • 最不稳的两环——探活和生成脚本——不要全自动,给骨架让它填。

这条问答下面,小Z 只回了七个字:「一语惊醒梦中人」。

答案读者满意,无需我多再解释。总之,帮你少走弯路少踩坑。

05|618 答应的答疑,后来还在继续

上次618大促的活动和答疑:

有人问 Playwright 覆盖率,我没有上来就甩一个工具,而是先问清楚:你说的覆盖率,是前端 JS/CSS,还是后端接口?

618答疑与后续兑现

这两个问题看起只差几个字,实际解决路径完全不同。前端要看浏览器执行了什么,后端要看接口和代码分支走到了哪里。工具、采集方式、报告口径都不一样。回答不是模板复制,活动承诺也不是发完就结束。

06|除了技术,求职和简历也有人接

面试和求职也是大家热点问题:比如有人问:投了简历没反馈,到底差在哪?

这个问题我结合自己招聘面试经验,和HR筛选简历的基本要求,给出了JD 关键词,再倒推项目亮点的心法;把“做过自动化”改成“用 Playwright 搭建回归工程,覆盖多少场景,节省多少回归时间”;用人单位看的是ROI,在简历和面试中环节,一定要体现在”技术点“。

求职与简历答疑

优化简历,是帮你把已经做过的事讲清楚。很多人不是没能力,是能力没有变成别人能看懂、愿意约面的表达。

干货解决“我缺什么文件”,答疑解决“我下一步到底怎么走”。这次再加一对一,就是把你的具体问题单独拿出来讲透。

07|不是只存资料,连踩坑和成品都留下来

比如 输出 专业精美的word格式测试报告?所以我把 Markdown 转专业 Word 的方法完整留了下来。

Markdown转专业Word方法

看最终成品,直接交给leader就行。

专业Word测试计划成品

下次直接帮你节省1小时撰写和排版时间。

再比如,Claude Code 被封后,发生了什么、怎么确认、接下来转到哪里,过程都留下来了。

ClaudeCode被封后的迁移记录工具会变,踩坑记录能让你少慌乱一次。

08|双十一大礼包:两次 1v1,价值 1,500 元,限前 10 名

前面这些东西已经在里面,不用等。

第一项:入会即得 1 次 30 分钟 1v1 技术咨询,价值 500 元。

适合解决一个明确卡点:环境起不来、框架不知道怎么选、脚本总失败、AI 回归不敢落地、报告不知道怎么交。

30 分钟不铺开讲大课,只盯住你当前最卡的一步。

第二项:进微信群再送 1 次 60 分钟高级 1v1,价值 1000 元。

两项合计 1,500 元。限前 10 名,按预约顺序排,约满即止。

11 月 15 日 23:59:59 截止。之后恢复原价:按 1000 元/小时 咨询。

预约只填三项:什么项目、最卡的一步、想要什么结果。

你可以拿它解决环境问题、框架选型、AI 回归落地、脚本总失败,也可以拿来聊项目表达和求职方向。普通场解决一个卡点,高级场梳理一条完整路径。

如果你想把一套框架跑通、把一个卡了很久的问题问明白,欢迎来聊。

干货可以慢慢看,名额不会慢慢等。你现在正卡着问题,就趁这次把它解决掉。

09|加入方式

上述源码、指南和实战记录,已经全部上传到我的知识星球。包括:

📦 40 套实战源码包(一文一码,每份带 README + 运行日志 + FAQ)

💬 1v1 答疑(星球发帖,工作日 24 小时内回复)

💰 119 元/年 · 3 天内无条件退款

最晚 11 月 15 日 23:59:59 截止。限前 10 名,约满即止。

长按下方二维码,加入星球:

扫码加入知识星球

加入后,看置顶帖预约。

一文一码,就找欢乐马

跳转微信打开

  •  

Playwright TypeScript 企业级自动化测试实战 源码包

原创 欢乐马 2026-11-09 07:59 北京

大家好,我是欢乐马。本篇是 Playwright TypeScript 企业级自动化测试实战 源码包介绍,欢迎下载使用。


大家好,我是欢乐马。

本篇是  Playwright TypeScript 企业级自动化测试实战 源码包介绍,欢迎下载使用。


📦 一、这是什么

一套 Playwright + TypeScript 企业级自动化测试框架的完整源码。

不是演示 Demo,不是代码片段。是一个可以直接拿去跑、可以当项目模板、可以对照公众号 12 篇系列教程逐章学习的完整工程。

🎯 二、适合你,如果

  • • 公司要上 Playwright,你是第一个搭建的人,不知道目录怎么设计

  • • Python 写熟了,想切 TypeScript,不知道 POM、Fixture、环境配置怎么迁移

  • • 自己搭了一个 Playwright 项目,但 ESLint 没配、环境变量硬编码、路径写到 ../../..

  • • Allure 一直配不好,CI 跑完看不到报告,想把AI和自愈接入CICD流水线

🚀 三、五分钟跑通

cd playwright-parabank-demo
npm install
npx playwright install
npm test

📂 四、项目结构

playwright-parabank-demo/
├── 01-why-typescript
├── 02-project-setup
│   └── scaffold
├── 03-pom
│   └── scaffold
├── 04-fixture
│   └── scaffold
├── 05-api-request-context
│   └── scaffold
│       ├── apis
│       ├── config
│       ├── fixtures
│       └── tests
│           └── api
├── 06-data-driven
├── 07-ui-api
│   └── scaffold
│       ├── apis
│       ├── config
│       ├── fixtures
│       ├── pages
│       └── tests
│           └── integration
├── 08-allure
│   └── scaffold
│       ├── apis
│       ├── config
│       ├── fixtures
│       ├── pages
│       └── tests
│           └── integration
├── 09-cicd
│   └── scaffold
├── 10-trace
├── 11-ai-testing
├── 12-enterprise-template
│   └── scaffold
│       ├── config
│       └── docker
├── logs
└── playwright-parabank-demo
    ├── apis                # API 封装层(含 XML 解析)
    ├── config              # 环境配置 + 全局初始化
    ├── data                # 测试数据 + 数据工厂
    │   └── test-data
    ├── docker              # Docker 本地部署
    ├── fixtures            # Playwright Fixture 依赖注入
    ├── pages               # Page Object Model
    ├── tests               # UI / API / 集成测试
    │   ├── api
    │   ├── integration
    │   └── ui
    └── utils                # 日志 + 工具函数
    ├── .github/workflows/   # CI/CD 流水线
    ├── playwright.config.ts       
    ├── tsconfig.json        # TypeScript 配置(路径别名)
    ├── eslint.config.js     # ESLint Flat Config + Playwright 规则
    └── package.json         # 12 个 npm scripts

📖 五、配套教程

学习路线

12 篇公众号系列文章,按这个顺序学习:

篇

主题

章节目录

1

选型对比

01-why-typescript/

2

工程搭建

02-project-setup/

3

POM 设计

03-pom/

4

Fixture 系统

04-fixture/

5

REST API 测试

05-api-request-context/

6

数据驱动

06-data-driven/

7

UI+API 混合

07-ui-api/

8

Allure 报告

08-allure/

9

CI/CD

09-cicd/

10

Trace Viewer

10-trace/

11

AI 赋能

11-ai-testing/

12

企业模板

12-enterprise-template/

每章目录里有该篇的核心代码、设计说明和练习建议。

🔧 改成你自己的项目

  1. 1. 改 .env.prod → 你的测试环境 URL 和账号

  2. 2. 改 pages/ → 换成你的页面对象

  3. 3. 改 fixtures/page.fixture.ts → 注册你的页面对象

  4. 4. 改 tests/ → 写你的测试用例

不改的部分:config/、fixtures/base.fixture.ts、playwright.config.ts、tsconfig.json——框架核心,直接复用。

🐳 Docker 部署

# 本地启动 ParaBank
docker compose -f docker/docker-compose.yml up -d parabank
# 切到 Docker 环境跑测试
ENV=docker npm test

六、踩坑速查:FAQ

FAQ 开头那几条,遇错先在这儿查一遍,八成能自救:

  • • ParaBank Admin 页有长连接,waitForLoadState('networkidle') 会一直等 → 换 domcontentloaded,或者等控件可见

  • • 登录态明明拿到 Cookie 了,页面还是没登录 → authenticatedTest 之后 page.goto() 刷一次(Q10)

  • • 数据驱动只跑第一条,还不报错 → test() 得放在 describe 的循环里(Q9),最坑

FAQ 全文 23 个问题分 8 类,还有 npm install 报 node-gyp、CI 报 ENOMEM、Allure 报告打不开、Docker 里要不要装浏览器。


七、运行日志:LOG

logs/ 里三份跑批输出,退出码都是 0:

logs/api.log          3 passed (2.0s)   EXIT=0
logs/ui.log           2 passed (5.9s)   EXIT=0
logs/integration.log  2 passed (11.8s)  EXIT=0

三份分别用 2 / 2 / 1 个 worker。先看退出码,再看条数,可对照运行日志自查。

有疑问?喊一声,社群或许已经有解答。以及,星主工作日24h 内会答疑。


八、心法与踩坑

  1. 1. 地址和账号进 .env,别硬编码在代码里;换环境只改一个变量

  2. 2. 页面对象只管定位和动作,登录态交给 fixture,别在 page 里自己 login()

  3. 3. CI 并行别开满,3-Shard 加 Chromium 容易内存溢出,worker 先降到 2,稳了再加

  4. 4. 12 个 npm scripts 各管一件事,别自己拼命令

  5. 5. ParaBank 接口返回的是 XML,不是 JSON,包里用正则解析;想换 JSON 得自己加请求头

  6. 6. Docker 显示 healthy 不等于服务能用,数据库初始化要等半分钟,global-setup 里的健康检查就是为这个写的

  7. 7. Trace Viewer 比开有头浏览器信息多,截图、网络、控制台三块能反复回放


九、适合谁

  • • 公司要上 Playwright,你是第一个搭架子的人,不知道目录怎么分

  • • 从 Python 切 TypeScript,POM、Fixture、环境配置没底

  • • 自己搭过,但路径写到 ../../..、环境变量散在代码里

  • • CI 跑完看不到报告,Allure 一直没配好


这套完整源码包,连同其他40套实战源码包均已上传《欢乐自动化测试实战》知识星球。40 套里只要有 1 套适合你,帮你省下搭架子的时间、少走弯路少踩坑,就值回票价了。

获取方式:在公众号后台回复「星球」


一文一码,就找欢乐马

跳转微信打开

  •  

WorkBuddy 很强,字节新出的 TRAE 宝却解放了我的注意力:真实项目体验

原创 欢乐马 2026-11-06 07:58 北京

最近,字节旗下 TRAE 上线了个人助理 TRAE 宝。我体验下来的感受是:如果说 WorkBuddy 是帮你干活,TRAE 宝则是在组织 Agent 帮你干活。

大家好,我是欢乐马。

最近,字节上线了个人助理 TRAE 宝。

我体验下来的感受是:如果说 WorkBuddy 是帮你干活,TRAE 宝则是在组织 Agent 帮你干活。

拆解任务、补充背景、派发任务、盯住进度……这些原本需要人一直操心的事,现在可以交给个人助理先组织起来。我的注意力因此能从项目过程中释放出来,放到两件真正需要决策的事上:目标是什么,结果怎么验收。

下面以「韭菜圈」项目的回测 MVP 任务为例,分享我的实际上手过程。

一、是什么

TRAE 宝是字节旗下 TRAE 最新上线的开发者个人助理。

① 全局助理 vs 项目助理

全局助理管长期积累:跨项目梳理历史任务、对话和产物,找出过去用过的方案、定过的约束和偏好。开新任务时,不用再把项目背景从头讲一遍。

项目助理管当前项目:读取项目文件和上下文,拆解复杂需求,调度子任务并行推进,再安排联调、汇总进度和产物。遇到需要你判断的问题,它再回来找你。

② 人机协作方式变化

TRAE 宝协作方式示意图,非官方架构图

我对它的理解是:过去是人在多个窗口之间拆任务、补上下文、催进度;现在是跟一个助理对齐目标,由它统筹任务,人处理关键决策和最终验收。

再也不用跟多个AI Agent来回对话了,啥需求直接问TRAE宝就行。

③ 限时免费

目前官方提供限时体验:截至 11 月 8 日 23:59,登录 TRAE 桌面端最新版,使用 TRAE 宝问答和下达任务不消耗积分,具体以官方说明为准。

二、怎么上手

先把入口说清楚:

  1. 1. 安装并登录 TRAE 桌面端最新版,进入 Agent 窗口;

  2. 2. 点左侧「TRAE 宝」,使用全局助理;或者打开一个项目文件夹,使用项目专属助理;

  3. 3. 直接说目标,在任务列表里查看拆解、进度和产物,需要调整时随时补充要求。

我没有只问一句“你能做什么”,而是直接派了一个真实任务:

推动 26.11.1 版本按计划上线,完成 us-110 回测 MVP,协助推进产品、工程和验收这条流水线。

这张图就是本次任务的实际上手界面:左侧是全局与项目入口,中间是项目助理读取文件、确认目标的过程,右侧是拆分后的任务和产物区。

TRAE 宝项目助理上手界面:入口、项目理解、任务拆解与进度汇总

第一步,它先读项目,而不是马上写代码。

项目助理先梳理技术栈、目录结构、开发计划和现有任务记录,识别出 Astro、React、Tailwind 等技术,再确认当前进度和负责人。

这一步很有必要。项目背景没摸清,后面拆得再快也可能是在错误方向上加速。

第二步,它把目标拆成不同任务。

需求梳理和排期、迭代日志、首页调整、回测页面与预算计算、预验收和交付,被分别推进。原来需要我在不同对话里分派的工作,现在先由项目助理组织起来。

第三步,汇总产物,再由人验收。

经过多轮推进,这次任务交付了回测计算 MVP 的核心页面和相关功能。

本次任务交付的回测计算 MVP 页面

从最终页面看,标的和回测区间可以选择,结果区展示胜率、累计收益率、最大回撤和逐笔交易记录,页面和流程已经成形。

但这里必须把话说清楚:图中只有 2 笔样本,页面也明确提示样本不足。它证明的是功能做出来了,不证明策略有效,更不构成任何投资建议。

我看的是 AI 能不能推进开发任务,不是回测数字漂不漂亮。

所以,一句话交代目标,不等于一句话就能得到正确结果。需求边界、任务优先级和最终产物,仍然需要人检查。

三、看法与展望

上周我在《从 Workbuddy 到 Buddy One,我的上手体验和推荐理由》里写过,Buddy One 抢的是任务入口,把文档、会议、网盘和知识库的上下文连起来。

11 月 4 日这篇《WorkBuddy、DeepSeek、Claude 都能用:我把测试中最烦人的 5 件杂活做成了 AI Skill》,解决的是另一类问题:把确定性工作交给代码,把固定方法沉淀成 Skill,减少重复劳动和无效 Token。

TRAE 宝又往上走了一层:连接上下文、固定执行方法之后,拆任务、排依赖、盯进度、收结果 这类原本需要人类完成的事情,它试图接管。

我有三个判断。

第一,Agent 越多,人越不应该成为调度瓶颈。

如果一个 Agent 写页面、一个查接口、一个补测试,人还在中间复制背景、切换窗口、催结果,迟早人类是整个链条上的卡点和瓶颈。

TRAE 宝值得关注的,不是“又能写多少代码”,而是它开始接管这部分组织工作。

第二,个人开发者可以借助 AI 协作,但不能把责任也外包。

一个人做项目,过去要同时承担产品、开发、测试和项目管理。现在,这些工作可以被拆开并行推进,个人组织复杂任务的成本确实在下降。

但 AI 说“已完成”,只代表它交了产物,不代表任务真的验收通过。代码是否可靠、结果是否符合业务要求,最后仍由人负责。

第三,先拿小任务试,不要一上来就“全自动接管项目”。

最适合上手的,是一个边界清楚、结果能检查的任务:修一个明确的 Bug、整理一个模块、补一组测试,或者完成一个小页面。

先看它怎么理解背景、怎么拆任务、哪里需要你纠偏,再决定能把多大的工作交给它。

更多 AI Agent 与自动化测试实战玩法,欢迎来我的知识星球。目前已汇集超百人同行,跟随实战圈子一起进步。

获取方式:在公众号后台回复「星球」


一文一码,就找欢乐马

跳转微信打开

  •  

WorkBuddy、DeepSeek、Claude 都能用:我把测试中最烦人的 5 件杂活做成了 AI Skill

原创 欢乐马 2026-11-04 07:58 北京

分享5个AI Skill, 帮你解决测试工作中那些高频、重复、耗时的杂活,不在为AI Token焦虑。

大家好,我是欢乐马。

随着 AI Agent 快速发展,陆陆续续用了不少智能体,确实帮我处理了不少日常事务,但有个问题一直没有解决:测试工作中那些高频、重复、耗时的杂活,依然需要人工处理。

于是,我把这些工作整理成 5 个 AI Skill:希望可以减少重复劳动,也最大化节省 Token 消耗。思路就是:代码负责数据整理,AI 负责分析判断。

下面把这套实践分享给大家。

一、Token 焦虑,你有吗?

几百行报错日志,直接扔给 AI 分析;8 条测试失败,逐条让 AI 排查;每天的回归报告,还要让 AI 帮忙统计……

曾经我就是这么干的,后来日渐厌倦,加上返回结果并不稳定,效果飘忽不定,难以满意,让我思考一个问题:

这些事情真的都需要 AI 来做吗?

例如日志提取、失败分类、边界值生成、回归数据统计,这些都有明确规则,Python 脚本就能完成。

AI 只需要处理整理后的有效信息,分析原因、补充场景、生成报告。

这样既减少无效 Token 消耗,也让输出更容易验证。

二、5 个 Skill:我的解法

这次整理了 5 个测试实用 Skill,采用 Python 脚本 + SKILL.md 的方式组织,不绑定某个特定 Agent。

1. 报错日志定位

几百行日志不用逐行翻。

Python代码自动提取失败用例、异常类型、定位器和关键日志行,生成带有分析要求的 Prompt,让 AI 根据证据定位问题。我可以一键复制喂给AI Agent,减少我自己复制粘贴还容易遗漏要求。

2. 失败归因分类

8 条失败,不一定需要分析 8 次。

先按定位、断言、环境、数据等规则自动分桶,再让 AI 分析主要问题的共性,给出根因假设和验证建议。

3. 造数据、写摘要

另外三个 Skill 解决不同的重复劳动:

  • • 边界值造数据:根据字段定义生成等价类和边界测试数据。

  • • 日志聚类:相似报错归并统计,快速发现重复问题。

  • • 回归摘要:自动对比两次测试结果,提取新增失败、已修复和持续失败用例。

核心思路:能用代码准确完成的事情,就不必让 AI 反复推理。

三、源码包怎么用?

解压后的目录如下(仅示范结构,文件并未全部列出)

test-ai-skills/
├── README.md
├── run_all.py
├── skills/
│   ├── 01_error_locator/
│   ├── 02_failure_triage/
│   ├── 03_test_data_factory/
│   ├── 04_log_summarizer/
│   └── 05_regression_digest/
├── samples/
└── logs/
    └── demo_run.log

环境要求:Python 3,标准库实现,不需要额外安装第三方依赖,也不需要 API Key。

运行一条命令:

python run_all.py

5 个 Demo 应该全绿,对照包里的 logs/demo_run.log;

怎么用在自己的项目?

把 samples/ 换成你自己的数据,把生成的 Prompt 贴给任意 Agent。

然后把各 Skill 生成的 Prompt 交给支持读取文件、接收 Prompt 的 AI Agent 即可。

四、实际效果怎么样?看运行日志

不讲概念,直接看本地 Demo 的运行结果(测试数据已脱敏)。

日志定位:

从日志中抽出 2 条失败,逐条生成 Prompt
错误类型:TimeoutError
定位器:get_by_role("button", name="...")
关键日志:waiting for ...

失败归因:

共 8 条失败,分桶结果:
[断言] 3 条
[定位] 3 条
[环境] 1 条
[数据] 1 条

8 条失败先分类,再分析共性,不必逐条重复提问。

日志聚类:

19 行日志 → 11 个簇,TOP 5:
[6 次] ERROR ... timeout
[3 次] ERROR ... returned 0 rows
[2 次] ERROR ... not visible

回归摘要:

通过率:99.0%(昨日 98.1%)
用例:共 206 条,失败 2 条
新增失败:0
已修复:2
持续失败:2(连续 3 天)

5 个 Demo 全部运行通过,完整输出保存在 logs/demo_run.log。

这些数字来自脚本实际统计,已大幅减少重复劳动。

五、写在最后

AI 很强,但 Token 也贵。

不要什么事情都交给 AI。把重复工作结构化,用 Skill 固定 Prompt,让代码处理确定性任务,让 AI 发挥分析能力。

这套 5 个 Skill 的完整交付资料(源码、运行日志、SKILL.md、使用说明),已上传我的知识星球「欢乐马自动化测试实战」。

怎么领,只需2步:

  1. 1. 关注公众号《Playwright实战教程》;

  2. 2. 后台回复「Skill」,获取加入星球入口;

双十一预告

现在这套教程和源码已上传星球,大家自取。

早加入,早拿资料,早动手实践。

下周三双十一,入会知识星球的新老朋友们 还有额外大礼包,敬请期待。

你现在最想让 AI 替你干掉哪件杂活? 评论区说一句(比如"每天翻回归报告""失败用例一条条看"),我挑出现最多的,做成第 6 个 Skill 也说不定。

一文一码,就找欢乐马

跳转微信打开

  •  

Playwright Agent Planner:让 AI 先替你把“测什么”想全 · 源码包

原创 欢乐马 2026-11-02 07:58 北京

大家好,我是欢乐马。

本篇是 9 月爆款文的核心源码包资源介绍,欢迎下载使用。

Playwright Agent 实战教程:让 AI 帮你写测试计划


一、先说那篇讲了什么

Playwright Agent 官方给了三个 AI 工具,正好对应测试的三件事:

  • • Planner — AI生产测试计划

  • • Generator — AI照计划写出能跑的代码

  • • Healer — AI自愈,把挂了的用例诊断、修复、重跑

Planner全程不写一行测试代码,你只管定目标、审产出——它自己一路点点点,最后存成一份 Markdown 计划。

演示站挑的是 jiucaiquan.com(韭菜圈 · A 股条件单工具箱),真实在迭代的中文站、免登录,零基础能跟着做。


二、完整交付是能跑的项目

这套包严格按照 一文一码4件套交付标准:代码+说明+问答+日志

件

是什么

CODEplaywright.config.ts

 + seed.spec.ts + package.json

README

目录结构 + 两个必踩的坑 + 5 步跑通

FAQ

8 个真问题,开头是 30 秒踩坑速查

LOG

一次完整探索的运行日志样例

也就是说,你拿到的是一个 npm install 完就能跑的项目骨架,避免少走弯路少踩坑


三、包里有什么

playwright_agent_planner_v1.0/
├── README.md                          # 目录结构 + 两个必踩的坑 + 5 步跑通
├── FAQ.md                             # 8 个常见问题(含 30 秒踩坑速查)
├── package.json                       # 项目依赖与命令(含 seed:chrome)
├── playwright.config.ts               # ★ 已修好两个坑(testDir / macOS 旧版回退)
├── seed.spec.ts                       # 环境种子(jiucaiquan.com 版,已改好)
├── specs/
│   ├── README.md
│   └── jiucaiquan-condition-order-plan.md   # ★ Planner 产出样例:10 场景计划
└── output/
    └── planner-exploration-log-sample.md    # ★ 运行日志样例(真实以你本机为准)

带 ★ 的三件是:config 那两个坑、10 场景计划样例、运行日志样例。前两个坑不修,后面三步全白跑。


四、FAQ :30 秒踩坑速查

这张表是 FAQ.md 的开头,遇错先在这查一遍,八成能自救:

  • • No tests found. → testDir 与 seed 位置打架,改 testDir: '.'

  • • Playwright does not support chromium on mac12-arm64 → 系统版本低于 14,用 PW_CHANNEL=chrome 驱动本机浏览器

  • • Executable doesn't exist at .../chromium_headless_shell-1243 → 浏览器没装,补 npx playwright install chromium(macOS 12/13 走上面那条)

FAQ 全文还有 8 个问题,包括:Planner 是不是走 Playwright MCP、用不用自己装、Steps 写这么细是给谁看的、它会不会一次把整站都测了。


五、5 步跑通

# 1. 建项目 + 装依赖 + 生成三代理
mkdir
 jiucaiquan-agents-demo && cd jiucaiquan-agents-demo
npm init -y
npm install -D @playwright/test@latest
npx playwright init-agents --loop=vscode
# 2. 用包里的 seed.spec.ts + playwright.config.ts 覆盖到项目根目录
# 3. 先跑绿 seed(macOS 12/13 用 PW_CHANNEL=chrome)
npx playwright test seed.spec.ts --reporter=list
# 4. VS Code Copilot Chat(Agent Mode)选中 @playwright-test-planner,
#    把 seed.spec.ts 加进上下文,贴入那篇文里的指令
# 5. 打开 specs/jiucaiquan-condition-order-plan.md 对照包里的样例评审

seed 绿了才能往下走:看到 ✅ seed passed — jiucaiquan.com 首页就绪 再进第 4 步。


六、运行日志

包里 output/ 那份就是它跑一次的完整节奏,摘出来给你先看:

🎭 Planner Agent 执行记录
============================
应用: https://www.jiucaiquan.com
种子: seed.spec.ts
[探索阶段]
 ✓ 打开首页 → 标题「韭菜圈 | A 股条件单工具箱」,导航:条件单工具 / 策略说明 / 迭代日志
 ✓ 首页 hero → CTA:「打开计算器」「查看策略说明」
 ✓ 阶段排行榜 → 涨幅榜/跌幅榜 Tab;个股/ETF/板块;周期:近1周/近1月/近3月/今年来
 ✓ /tools/condition-order → 行情快照区(空态提示:「行情数据暂不可用,请使用右侧手动输入模式」)
 ✓ 手动输入表 → 代码 / 名称 / 开盘价 / 收盘最新价 / 最高价 / 最低价,按钮「加入自选」「清空输入」
 ✓ 「次日条件单参考」结果区 → 引导文案 + 「复制条件单文案」按钮
[生成测试计划]
 ✓ 场景组 1:首页与导航(3 个场景)
 ✓ 场景组 2:条件单计算器 - 手动输入(5 个场景)
 ✓ 场景组 3:行情快照与空态(2 个场景)
✅ 测试计划已保存至: specs/jiucaiquan-condition-order-plan.md

10 个场景分 3 组:首页与导航 3 个、计算器手动输入 5 个、行情快照与空态 2 个。最容易漏的"空态"它自己写进去了——这是人工列场景时最常缺的一类。


七、4 条心法

  1. 1. 给范围,不给步骤 — 说清测哪个功能、关注什么,拆解交给它;步骤写太死,反而限制它发现你没看到的场景

  2. 2. seed 必须先绿 — seed 红着,计划就是空中楼阁

  3. 3. 计划是活资产 — 站点一改版,重跑一次 Planner 比人肉 diff 页面快得多

  4. 4. 保住 Markdown 结构 — **Seed:** / **Steps:** / **Expected Results:** 是 Generator 的输入


八、额外收获

  1. 1. seed 的正确理解:它不是被测用例,是"测试从哪个页面状态出发"——想清楚这一层,Agent 就成功了一半

  2. 2. AI 的计划也会漏,评审闸在你手里:哪些场景砍掉、哪些边界要补、业务公式对不对——最后这道闸永远归人

  3. 3. "给范围不给步骤"这套提问法不只对 Planner 有效,所有让 Agent 写测试的场景都适用


九、适合谁

  • • 接手新站 / 新功能,靠肉眼扫功能点、总担心漏场景的测试

  • • 不想写用例、但希望"测什么"有据可依的工程师

  • • 想把手里 Playwright 升级成"AI 三代理"工作流的自动化测试

  • • 被 No tests found、mac12-arm64 这类环境坑卡住的小伙伴



这套包,连同我写的另外 30 多套实战源码,全部上传到我的知识星球。

获取方式:在公众号后台回复「星球」



跳转微信打开

  •  

从 Workbuddy 到 Buddy One,我的上手体验和推荐理由

原创 欢乐马 2026-10-30 08:10 北京

大家好,我是欢乐马。

昨天 10 月 29 日,腾讯全球数字生态大会搞了个重磅发布推出了新产品:

Buddy One,把 WorkBuddy、腾讯文档、腾讯会议、腾讯网盘、ima,用一套账号、一个积分池串起来。

晚上我上手体验了一把,最直观感受是:

腾讯这次做的不是新工具,是连接器——抢的是「任务」这个入口。

一、是什么

一句话总结:授权一次,实现跨应用 AI 协同体系。具体说,

① 一套账号,一个积分池。 免费绑 Buddy One ID。WorkBuddy 积分升级成 Buddy One 积分,几个应用通用;腾讯会议暂不消耗积分。

② 一次提问,跨应用找料。 文档、会议记录、知识库一起检索,不用反复授权、不用复制粘贴;命中的资料标明来自 ima、腾讯文档还是资料库。

③ Agent 底座下沉。 腾讯文档、腾讯网盘、ima 用的是同一个 WorkBuddy Agent;网盘做存储底座,给这套办公产品一个 1TB 共享空间。

顺便我去搜了下数据:易观三季度报告显示,20 款桌面端办公智能体月访问破 3 亿次,比 6 月涨近 5 倍,WorkBuddy 以 8,534 万次领跑;9 月沙利文报告,它个人端、企业级双榜第一。

二、怎么上手

前提:PC 端 5.9.0 以上。

  1. 点左下角个人入口 → 设置 → 个人主页;

  1. 右侧「Buddy One 产品套件关联账号」,四个待关联——腾讯会议、腾讯文档、腾讯 ima、腾讯网盘,逐个点「关联」。

  1. 选账号 → 勾《BuddyOne ID 升级及互通服务须知》→ 立即关联。

三、看法与展望

回顾 10 月我发过的两篇 WorkBuddy 文章,正好卡在 Buddy One 这个点上:

做连接,抢入口。

一篇是《81MB 录屏 + 1 小时逐字稿,WorkBuddy 用 Playwright 帮我全部拿下》——一场会的录屏 80.9 MB、逐字稿 18,844 字,没有导出按钮,我让 Playwright 硬搬了 90 秒。卡点就在「取料」。

一篇是205 个测试全绿,打开是3个500:我用Workbuddy 做UI自动化测试——AI 写的断言只验元素在不在,205 条跑绿,页面三个 500。卡点在「依据」:判断对错的标尺,得从自己的知识库里来。

这让我对本次 Buddy One 产品有了自己的思考:

第一,符合腾讯「做连接器」的一贯打法。

过去腾讯的产品积分各玩各的、互不相通。会议、文档、网盘、知识库单拿出来都是好产品,痛点一直是打不通、形不成合力。这次算是真动手解决。更别说微信这个口子——WorkBuddy 本来就支持微信、企业微信连接,手机上说一句,电脑上接着干,聊天里的需求能直接派成任务。

QQ 连接人,微信连接生活,WorkBuddy 想连接任务和上下文。

第二,Buddy One 想做腾讯的统一 AI 入口。

这不是腾讯一家的判断。字节那边先行一步:7 月底飞书产品团队并入豆包,8 月 24 日 TRAE、扣子(Coze)整体并入豆包体系,第二天就发布统一办公品牌「豆包工作」,10 月又支持从 ChatGPT、Claude Code、Trae Work 把任务偏好、技能、连接器、工作记忆迁进来。四条产品线归到豆包一个主干上,抢的是同一个位置。

两家都在收口。收口之后拼什么?不是模型,是谁能把你的账号、数据、上下文留在同一条链上。

或许很快,你在 Buddy One 下的业务场景会变成这样:

开了一场腾讯会议,把会上讨论的测试任务,通过 ima 知识库里的上下文——产品需求、设计文档、测试用例——一路喂下去,驱动 WorkBuddy 把测试任务跑完,最后交出一份专业报告,彻底实现业务闭环。

对此,我充满了期待。你怎么看?欢迎评论区聊聊。

跳转微信打开

  •  

20分钟、2次复测、12条Bug:把测试任务书写给豆包自己逛网站出测试报告教程(附模版)

欢乐马 2026-10-28 08:05 北京

一份任务书丢给 AI Agent,它自己逛完 5 个页面,20 分钟交出 12 条带截图的分级 Bug 报告

一份任务书丢给 AI Agent,它自己逛完 5 个页面,20 分钟交出 12 条带截图的分级 Bug 报告。
免费拿:《10 条新手最容易漏的边界用例清单》+ 提示词骨架,公众号回复「边界」直接领,不用加好友。
要全套:可复刻的提示词模版、空报告模版、完整示范报告 + 全套截图、运行视频,都放在我的星球,回复「星球」可领。

大家好,我是欢乐马。

最近测试群里聊得最多的一句:手工测试会不会被 AI 淘汰?我的答案一直是——消失的不是测试本身,是"纯体力点点点、提 Bug、做回归"那套干法。

不讲趋势,只交作业:用豆包探索式测试线上网站:全程我只写了一份任务书,豆包自己完成了从功能探索、报错截图、bug记录、测试报告输出全过程,豆包跑了 2 遍,找到了12 条能被复现的问题。

没有 token 焦虑,先说清成本:我用的是豆包电脑版,积分免费,这一轮跑完一分钱没花,你照着复刻也一样。

怎么做?核心是任务书


一、这份任务书,到底管什么

任务书

相对于零散的 prompt提示词,我更喜欢用任务书。
理由:任务书能反复打磨,迭代,这一轮测试什么重点、用什么顺序,最后期望报告内容是什么格式,最终可以沉淀为你自己测试资产。
比如,我目前用的任务书骨架,你改个URL就可以直接抄走:

角色:你是资深探索式测试专家,对 {{目标URL}} 做自主探索式测试。
四阶段纪律:
1. 全景摸底:梳理所有页面/入口,建素材暂存库,随时留痕,不许丢素材。
2. 发散探索:走功能流 + 打边界(超大/非法/负数/零/反向区间/缺字段/清空残留)
   + 查交互UI/移动端/控制台报错。
3. 沉淀素材:每条异常记 动作 / 期望vs实际 / 证据(截图或日志)。
4. 出报告:测试概览 → 素材目录 → Bug List(编号/严重度/复现/实际/期望/证据)
   → 修复建议 + P0-P3 优先级总表。
要求:不编造,每条 Bug 可复现;不承诺找全,只报实测发现。

这段骨架真正值钱的是三处纪律,别的都是格式:

  • • "不许丢素材"——没有截图和日志的 Bug,开发只会当你在描述现象;

  • • "边界清单"——它决定了 Agent 会不会去点那些"正常人不会点"的地方;

  • • "不承诺找全,只报实测"——这句话防的是 AI 为了交差编 Bug。

骨架只是示意,完整版提示词模版有47行,细节更丰富。包括占位符说明、分站点裁剪指南、测试报告模版、组长用的定级与上线阻断模板,都在我的星球,公众号回复「星球」可领。


二、20 分钟,捞出 12 条

写完任务书我的活就基本结束了,剩下就交个豆包执行。

最终结果还有点超出我的预期的:
20 分钟、5 个页面、12 条问题,每条都能挂到具体截图或日志。

但过程其实并不太顺,首先是跑了一段后,豆包出弹窗问我要截图和录屏权限。我授权了,但mac系统提示说要退出才生效,我自然不肯,果断拒绝。结果又跑一段时间后,还是卡住了:控制台停在"正在抓网络数据",一直超时不动。

没办法了,这下只能停掉重新打开豆包再跑了一次。好在操作界面上把上一条任务刷新重新发送即可。

所以严格意义上说是跑了 2 次。但豆包第二次跑的时候,发现目录下留着第一次的截图和记录,并没有完全从头来过。第一次探索过路径、记的控制台报错,它自己续上了。

AI Agent卡了重跑很正常,如果重跑时从零开始就有点废token。

测试报告

报告长什么样,直接看上面这张图,挑三条最有代表性的给你看:

现场

实际发生了什么

价格框输入 999999999999999

低吸价算出 -749999999999997.25,基准价冒出 250000000000000.7813 的诡异尾数

断网后刷新首页

排行榜只剩空白骨架屏,不提示失败、不给重试,控制台报 ERR_HTTP2_PING_FAILED,页面上一个字都没说

只填收盘/最高/最低、漏开盘价

结果区提示"请输入有效的数字"——没说是缺开盘价,用户要自己猜

说实话断网刷新 这个 bug 还真不容易抓。

超大数值现场

这 12 条连复现步骤、截图证据、修复建议一起打包了,在星球里,回复「星球」可领。


三、最炸的两条,值得单独说

第一条:一个超大数,吐出负的七百万亿。

价格框填 999999999999999、收盘 1.5、最低 1.0,计算器给出的低吸价是 -749999999999997.25。一个面向真实用户的工具,能吐出负的买入价——典型的没做数值上界护栏 + 大数浮点精度崩溃。

迁移到你自己的系统:金额、数量、分数这些框,有没有上界?输个超大数会不会崩?新手手工点测最容易跳过这种"离谱输入",老司机们都不陌生。

第二条:静默失败比报错更危险。

数据加载失败时,页面只剩空白骨架屏,不说"失败"、不给"重试"。用户分不清是还在加载、没数据、还是坏了。控制台其实已经报了网络错误和 React #418,但页面上一个字都没有。

这两条都不是"功能没写",是"没想过会被这么用"。这也是探索式测试有价值的地方。


四、怎么复刻(三步)

这套方法不绑定某个Web网站,换个 URL 就能用:

  1. 1. 填任务书:模板里把目标 URL、核心功能、测试重点换成你自己的;

  2. 2. 裁重点:工具站重算法边界,电商重下单链路,后台重权限和表单——别让 Agent 平均用力;

  3. 3.  Agent 生成报告:按四阶段跑,用报告模版收结果,包括P0–P3 问题修复排期建议。

运行录屏精华版(21 秒带字幕):榜单探索 → 误导提示 → 超大数吐出负值 → 非法字符被收下。

提示词模版、报告模版、完整截图、运行视频,全部打包在星球,回复「星球」可领。


五、结语

手工测试不会消失,但"只会点点点"会。会写任务书的人,等于随身带了 10 个不知疲倦的测试员, 比纯人工强太多了。

下回测试的时候,如果这篇内容让你想起来写个任务书让Agent先跑一遍,节省的时间和精力就值回票价了。


怎么拿

  • • 免费小样:公众号回复「边界」—— 一张《10 条边界用例清单 + 提示词骨架》打印卡,直接打印贴工位。

  • • 完整全套:知识星球「欢乐马自动化测试实战」—— 可换 URL 的可复刻提示词模版、四章空报告模版、完整示范报告 + 全套截图、可选采集脚本、组长用的定级与上线阻断模板。


公众号『Playwright实战教程』
知识星球『欢乐马自动化测试实战』
一文一码,就找欢乐马。

跳转微信打开

  •  

同一个 500 页面,AI 的用例全绿,我的全红:差别只在 4 级断言

原创 欢乐马 2026-10-26 07:58 北京

本篇分享的4级断言策略。源于一位叫「鲲鹏破万法」的读者留言,持续问我 假绿假红怎么解决?

大家好,我是欢乐马。

本篇分享的4级断言策略。源于一位叫「鲲鹏破万法」的读者留言,持续问我

假绿假红怎么解决?

那篇 205 个测试全绿、打开 3 个 500 下面,还追问了:

周末我花点时间思考,把六条内容整理成了 L0–L3 四级,大家可以参考。

回顾上周文章说的是:用 WorkBuddy 生成的一批 UI 自动化和测试用例,跑完 205 个全绿;手工核查发现 漏 3 个接口 500。

测试报告没说错——它断言的东西是跑绿了,但页面挂也是真红了:假绿真红。

问题在断言强度。这篇把分级模型讲透,并配套 Demo ,完整源码包在文末可领。


一、翻车根因:AI 写的断言,默认只到 L0

把那 205 个用例的断言捞出来看,长这样:

expect(page.locator("body")).to_be_visible()
expect(page.locator(".container")).to_be_visible()

这类断言只回答一个问题:元素在 DOM 里吗?

而 500 错误页也有 <body>,也有 <h1>Internal Server Error</h1>。元素全部"存在",断言全部通过——全绿,但绿得毫无意义。

我翻了一遍那 205 个用例,最终断言停在"元素存在"这一级的占八成以上,剩下两成也没一条校验状态码或业务结果。

这不是 WorkBuddy 一家的问题。Copilot、Cursor、Claude Code 生成的用例默认只验证"存在"——AI 不懂你的业务怎么才算对,只能挑最不会出错的写法:不会误报,代价是也不会报警。

AI干的活,还得让人类背锅 - 只怪我们把"跑通了"当成了"通过了"。


二、断言强度分级模型:L0 到 L3

复盘后我把断言按强度分成四级,每一级回答一个更硬的问题:

级别

回答什么

500 页下

L0

 存在性

元素在 DOM 里吗

✅ 假通过

L1

 状态

状态码正常吗

❌ 正确失败

L2

 内容

可见且内容对吗

❌ 正确失败

L3

 业务不变量

业务守恒吗

❌ 正确失败

一句话记忆:L0 看"有没有",L1 看"通没通",L2 看"对不对",L3 看"守不守"。

接口测试早就是这么干的:先断状态码,再断字段,最后断业务值。到了 UI 自动化,标准被悄悄降回"元素存在就算过"。现在捡回来。

四个级别的封装函数,逐级加压:

# assertion_levels.py
def assert_element_exists(page, selector):
    """L0:元素存在于 DOM 即算通过。最弱的一级——500 页同样有 <body>。"""
    count = page.locator(selector).count()
    assert count > 0, f"L0 存在性断言失败:元素不存在 -> {selector}"
def assert_response_ok(response, allowed_statuses=(200, 301, 302, 304, 307, 308)):
    """L1:主文档/关键接口的 HTTP 状态码必须正常。
    用法:resp = page.goto(url); assert_response_ok(resp)"""
    assert response is not None, "L1 状态断言失败:response 为 None"
    assert response.status in allowed_statuses, (
        f"L1 状态断言失败:{response.url} 返回 {response.status}"
    )
def assert_content_visible(page, selector, text_pattern=None, timeout=5000):
    """L2:关键业务元素可见,且文本内容匹配(支持正则)。500 页上直接红。"""
    loc = page.locator(selector).first
    expect(loc).to_be_visible(timeout=timeout)
    if text_pattern is not None:
        text = loc.inner_text()
        assert re.search(text_pattern, text), (
            f"L2 内容断言失败:{selector} 文本不匹配 /{text_pattern}/,实际:{text!r}"
        )
def assert_business_invariant(before, after, expected_delta=None, check=None,
                              invariant_name="业务不变量"):
    """L3:跨步骤/跨页面的业务守恒必须成立。
    例:加购前后购物车数量差必须恰好为 1;订单总额 = 单价 x 数量。"""
    if check is not None:
        assert check(before, after), f"L3 断言失败:{invariant_name} 不成立"
        return
    actual = after - before
    assert actual == expected_delta, (
        f"L3 断言失败:{invariant_name} 差值应为 {expected_delta},实际 {actual}"
    )

L3 不盯元素,盯的是业务上必须守恒的关系——加购前后数量差=1、订单总额=单价×数量、库存扣减=下单数量。它跨页面跨步骤,最强也最难让 AI 自动写(它不懂你的业务守恒),所以最该由人补。


三、实验:同一条链路,改造前 vs 改造后

同一业务动作,两种写法:打开商品列表页。

# 改造前(L0 写法,AI 默认产出):500 页下照样绿
def test_inventory_page_l0(page):
    page.goto("https://www.saucedemo.com/inventory.html")
    expect(page.locator("body")).to_be_visible()
    expect(page.locator(".inventory_list")).to_be_visible()
# 改造后(L1+L2 写法):500 页下正确变红
def test_inventory_page_l2(page):
    resp = page.goto("https://www.saucedemo.com/inventory.html")
    assert_response_ok(resp)                                          # L1:先挡 500
    assert_content_visible(page, ".inventory_item_name", text_pattern=r"Sauce Labs")
    assert_content_visible(page, ".inventory_item_price", text_pattern=r"\$\d+\.\d{2}")

差别只在断言:改造前问"元素在吗",改造后问"状态通吗、名字和价格对吗"。

为了离线可复现,500 页用 page.route 本地 mock——故障场景得可控,不能靠"等线上挂一次":

page.route("**saucedemo.com**", lambda route: route.fulfill(
    status=500, content_type="text/html", body=ERROR_500_HTML))
page.goto("https://www.saucedemo.com/inventory.html")

一条链路、两种页面状态(正常页 / 500 页)、四种断言方式,共 7 个用例。刚跑完的实况,pytest -v,7 秒左右:

逐个看:

  • normal_page_l0 / l2 / l3

    |正常页 · L0/L2/L3 → 🟢 全绿,加压不误伤

  • error_page_l0_false_positive

    |500 页 · L0 → 🟢 假阳性,翻车现场还原

  • error_page_l1 / l2

    |500 页 · L1/L2 → 🔴 正确失败

  • error_page_guard_intercepts

    |500 页 · L0 + 哨兵 → 🔴 teardown 拦截

最扎眼的是第二条:500 页面上,裸 L0 照样通过。这就是那 205 个"全绿"用例的微观现场。

同一页面换成 L2(断列表可见、商品名匹配 Sauce Labs、价格匹配),立刻变红。一个绿一个红,唯一变量是断言强度。

分级方案敢全量推开的前提,就是第一条:加压不误伤正常页。


四、工程兜底:5xx 哨兵,让假阳性无处可藏

逐个改断言是治本,但 205 个改完之前,先上一道保险:conftest 里给 page 挂 response 监听,自动拦 5xx。

# conftest.py
import pytest
@pytest.fixture
def monitored_page(page):
    """带 5xx 哨兵的 page:监听所有响应,收集 5xx,teardown 统一 fail。"""
    server_errors = []
    def _on_response(response):
        if response.status >= 500:
            server_errors.append((response.status, response.url))
    page.on("response", _on_response)
    yield page
    if server_errors:
        lines = "\n".join(f"  [{s}] {u}" for s, u in server_errors)
        pytest.fail(f"5xx 哨兵拦截:本测试共收到 {len(server_errors)} 个服务器错误响应\n{lines}",
                    pytrace=False)

用法零成本:参数里的 page 换成 monitored_page,断言一行不改。实验里被拦的那个就是证明——裸 L0 全过,teardown 时哨兵发现它收到过 500,报错并列 URL。

再配个分级标记:

@pytest.mark.assertion_l2
def test_normal_page_l2(normal_page):
    ...

之后可按级别筛执行:冒烟只跑 L2 以上 pytest -m "assertion_l2 or assertion_l3",全量回归再跑全部。


五、落地心法:不是全写 L3,而是放对位置

所有用例都要写到 L3 吗?不用,也不该。强度越高越脆、越贵——L3 写多了,UI 改个文案都可能红一片。按链路价值投放:

  • L0

    :只允许出现在中间步骤(等页面骨架加载完),不允许作为用例的最终断言;

  • L1

    :每个 page.goto 后顺手一行,成本极低,先把 500 这种硬故障挡在门外;

  • L2

    :核心链路的最低要求——列表页断商品、详情页断标题价格、购物车断数量徽标;

  • L3

    :只给涉及钱、库存、数量的关键链路——加购守恒、订单总额守恒。条数少,但每条都值钱。

还有一类链路容易被漏掉:只读场景——不写库的那种。没有数据可对,L3 的守恒断言无从下手。我的办法是三重交叉:提交成功提示 + URL 变化 + 无报错日志,三个都对上才算过。只等一个提示,等于又退回 L0。

给 AI 下任务时把这套写进提示词:"最终断言至少 L2,关键链路补 L3,禁止只写存在性断言。"一句话,生成质量立刻不一样。

那 205 个用例按这个标准重构后:L1 全量补上,L2 覆盖 5 条核心链路,L3 给加购和下单各写 1 条。再故意制造 500,全红——这次红得让人安心。


结语

回到开头那个问题:假绿假红,怎么才算真解决?

断言强度决定结论价值。L0 的绿是"页面渲染了点东西",L2 的绿才是"业务是对的"。205 个 L0 的绿加在一起,不如 20 个 L2 的绿让人放心。

AI 生成用例没错,错在我们没定义"什么叫通过"。分级模型定下来,AI 负责写,你负责验收强度——各司其职。

你们项目的断言,现在停在 L 几?评论区聊聊。

置顶评论里我贴了一张 L0–L3 判定速查表,你可以拿它直接对着自己的用例过一遍。


配套源码包(L0-L3 断言封装 + 5xx 哨兵 conftest + 正常页/500 页对比 Demo,本地 mock 离线可跑,内含真实运行日志与 FAQ)全部上传到我的知识星球。

获取方式:在公众号后台回复

「星球」

跳转微信打开

  •  
❌