铃阅时讯
❌

阅读视图

AI 值得信任吗?先看看人类花了一百年才敢喝的那杯水

原创 王建硕 2026-08-02 23:25 美国

我们最近聊到一个问题:AI 值不值得信任?聊着聊着,我发现真正的问题根本不是 AI 准不准,而是——信任是怎么建立起来的。 全盘接受,才是真正的危险 你问 AI 一件事,它给你答案,如果你全盘接受,这个世界以后会很惨。因…

我们最近聊到一个问题:AI 值不值得信任?聊着聊着,我发现真正的问题根本不是 AI 值不值得信任,而是——信任是怎么建立起来的。

全盘接受,才是真正的危险

你问 AI 一件事,它给你答案,如果你全盘接受,这个世界以后会很惨。因为你接受了,你就放弃了控制,你就没有戒心了。

这不是抽象的担心。我自己开自动驾驶的车,就明显发现反应变慢了。以前你不信任它,脚会经常放在刹车上,随时准备踩一下;现在你习惯了,到了出口它没出去,你已经意识不到自己该刹一下车了。信任本身,正在偷走你的警觉。

但是,对于不同的系统的信任程度,是满满的建立起来的。

有人说,那医生也会开错药啊。不一样。医生开错药,医生是要担责的。背后有个人,有一套追责的东西在兜底。 想想看,医生这种职业——你把自己的性命交给他,让他给出配方,剂量出了问题有可能就会死人。而且别忘了,在漫长的历史里,不靠谱的医生、不靠谱的偏方,造成的问题远远高于今天任何一个 AI 大语言模型。但我们是怎么一步步信任医生的?人类花了几百年时间,靠的不是「医生是好人」,靠的是执照制度、医疗事故追责、医院定期审查……一整套体系把这个原本极度危险的职业,一点一点逼得对患者相对安全起来。你信任的从来不是那个人,是那套体系。

我们敢喝那杯水,靠的不是运气

打个比方:在餐馆里面,我面前的这杯水里,到底有没有毒?我敢喝,是因为我信任,在正常的餐馆里喝的东西应该没毒。

但这份信任不是天上掉下来的。200 年前的社会,是无法建立这种信任的——在外面根本不敢随便喝水。想想看,200 年前在外面喝一杯没烧开的水,基本上就是在赌博。细菌是什么都还没搞明白,死都不知道怎么死的。自来水和灭菌根本不存在——你在外面随便喝口水,就是真的在拿自己的身体下注。我们现在觉得理所当然安全的东西,曾经都是那么不安全。

为什么今天敢了?因为我们建立了司法体系、追责体系、食品安全,门口要贴员工的定期体检报告、要公示……一整套东西堆起来,才让我今天敢在任何一个餐馆里面,端起这杯水喝下去。

汽车也是,吃药也是,电也是,火也是。历史上,技术让我们现在稀松平常的很多事,都曾经是一场冒险。所以我认为 AI 也会需要一段时间,慢慢把出错的概率压下来。这不是哪一件事单独能做到的,是技术、监管、还有整个社会认知共同进步的结果。

AI 现在恰恰缺的就是这一整套。 所以今天它出错,就是死了就死了,没人负责。不只是追责体系缺位,对 AI 的监管本身也远远不够,既没有足够强的外部约束,技术本身的迭代速度也远超我们建立信任的速度。这两件事加在一起,才是我们现在不该全盘相信 AI 的真正原因。

三年后,AI 也得有一张「健康证」

但过三年,等 AI 真正开始承担重要的事,情况必须变。AI 的模型上面也得有「健康证」,市场监督局得去检查:AI 输出的东西有没有把人给害死?这事肯定会干,让我们逐渐建立起来更深的对 AI 的信任。

信任从来不是「你选择相信」,而是「有一套体系逼着对方不敢辜负你」。人类花了两百年,才把这套体系套在餐馆和医生身上。AI 也逃不掉这一步。

给 AI 贴警告标签?没必要

有人建议,AI 应该贴一个巨大的警告标签,时刻提醒用户「AI 可能出错」。我觉得没必要。

标签贴不贴,不应该看它有没有出过错,而应该看它跟其他信息源比起来靠不靠谱。朋友给的建议,出错的概率其实不比 AI 低,尤其在他们没有专业资质的领域;父母给孩子的建议,就一定靠谱吗?那我们是不是也得每天提醒孩子:「父母是有可能出错的」?是不是也得教育年老的父母:「不要轻信自己的孩子」?

这一推下去,就变得很滑稽了。

学会信任一杯水,本身就是学习的一部分。学会判断哪个信息源值得信、值得信到什么程度,也是。更根本的是:信任谁、怎么信、信到几分——这本身就是一种需要习得的能力,不是天生就有的,也不是贴几张警告标签就能替代的。我们不需要给每一个信息源都贴上警告,我们需要的是把判断力培养起来。

总之,这是一个系统的工程:社会的监督,技术的进步和使用者的成熟。这也是任何技术的普及都需要时间的原因。

跳转微信打开

  •  

别再反复教 Coding Agent:让项目记住自己如何工作的五个步骤

原创 Phodal 2026-08-02 12:47 浙江

所谓持续改进,不是不断增加配置,而是让这一次任务留下的东西,真正帮助下一次。

最近我重新整理 Better Harness ( https://github.com/QoderAI/better-harness )的 references 目录时。其核心我们是整理了一系列 AI Coding 的最佳实践,以让 AI 在调用这个 plugin 的时候写出有价值的修复建议。

过程中,发现一个有意思的问题:里面积累的实践越来越完整,但第一次接触 Coding Agent 工程化的人,反而更难判断应该先做什么。

如果你已经让 Coding Agent 修改过真实项目,大概见过这样的场景:它能很快找到代码、完成修改,甚至运行测试;但换一次对话,又要重新猜测项目使用什么命令、 哪些文档可信、哪些文件不能修改。你不断补充 Prompt,项目里的经验却没有真正留下来。放回 AI Coding 项目的成长过程,顺序其实很清楚,要添加的内容很也简单

阶段

要解决的问题

主要产物

进入项目

Agent 不知道怎样开工

AGENTS.md

理解项目

文档存在,但任务中找不到

知识路由

复用经验

同类流程需要反复解释

Skill

执行流程

方法有了,却缺少可靠工具

CLI、MCP、Hook

持续改进

这次经验没有进入下一次任务

Agent Work Loop

一个 Agent 友好的项目,不是安装了多少工具,而是项目知识能否被发现,流程能否被执行,结果能否被验证,经验能否进入下一次任务。

第一步:先用 AGENTS.md 给 Agent 一张项目地图

假设一个新人第一天加入项目,我们通常不会直接递给他全部架构文档,而会先告诉他:项目做什么、代码在哪里、怎样启动、修改后运行什么测试,以及哪些地方不要碰。

Coding Agent 进入仓库时,也需要这样一张地图。这是 AGENTS.md 最容易理解的用途。

不同 Coding Agent 对文件名和加载范围的支持有所不同,但 AGENTS.md 承担的内容应该尽量稳定:项目使用的包管理器和运行时、安装与测试命令、无法从目录结构推断的约定、生成文件的位置,以及涉及凭据、数据库迁移和发布时的安全边界。

Agent 能从代码中看出来的内容,没有必要再写一遍。真正值得写进去的,是它看不出来、却很容易猜错的事实。例如:

  • • 仓库里同时存在 npm 和 pnpm 的痕迹,当前究竟使用哪一个;

  • • 某个目录看起来像源码,实际上由工具生成;

  • • 完整测试需要半小时,修改一个模块时应该先运行哪条聚焦命令。

如果还不知道怎样起步,可以先在仓库根目录创建一份很短的 AGENTS.md:

  1. # AGENTS.md
  2. -安装依赖:`pnpm install`
  3. -修改后先运行:`pnpm test -- <相关测试>`
  4. -不要直接修改:`dist/`、`generated/`
  5. -修改模块边界前:阅读`docs/ARCHITECTURE.md`
  6. -涉及数据库迁移或发布:先请求人工确认

这只是最小示意,命令和路径必须替换为项目中真实可用的内容,并且亲自运行一遍。

一份实用的 AGENTS.md 应该简短、准确、可执行,并且与当前项目直接相关。AGENTS.md Review 还强调了一个重要原则:渐进式披露。根目录只保留多数任务都需要的说明,更详细的架构、设计和工作流程,通过链接按需读取。

第一步不必追求一份完美的 Agent 手册。先写清入口、命令、风险和文档导航,让 Agent 能够正确进入项目。

第二步:把核心文档接到任务路径上

有了项目地图,Agent 只是知道怎样开工,还不知道代码为什么这样组织。真正影响修改质量的知识,仍然散落在架构决策、设计规范、测试策略和运行手册中。

第二步要做的,是让这些文档从“仓库里存在”,变成“任务进行到这里时能够被找到”。

常见的核心文档包括 ARCHITECTURE.md、 DESIGN.md、编码规范、测试指南、发布说明和 Runbook。名字不必统一,但职责应该清楚:架构文档解释模块边界和依赖方向,设计文档保存界面与交互约束,编码规范记录团队特有的技术选择,测试与运行手册说明如何验证和诊断系统。

只在 AGENTS.md 末尾放一串链接还不够。更有效的写法,是同时给出读取条件:

  • • 修改模块边界前,阅读 ARCHITECTURE.md;

  • • 调整公共界面前,检查 DESIGN.md;

  • • 改变发布流程前,阅读 Runbook。

这一小句把文档接到了具体任务上,也形成了一条最小的知识路由。架构约束属于架构文档, AGENTS.md 只负责把 Agent 带过去;测试命令如果已经由脚本提供,文档负责解释如何选择,而不是再复制一份可能过期的命令。

到了这一步, AGENTS.md 负责导航,核心文档负责解释,源码和测试提供最终事实。项目开始拥有一套 Agent 可以使用的知识路由,而不再依赖一个巨大的万能 Prompt。

第三步:从重复工作中提炼第一个 Skill

文档适合解释稳定知识,但有些任务不只是“知道什么”,还包含一套反复出现的判断和步骤。

每次发布都要检查版本、变更记录和产物;每次排查线上问题都要收集日志、缩小范围并验证修复;每次代码审查都要核对最终变更、测试证据和风险边界。如果团队每次都要重新提醒 Agent,这段过程就值得被观察。

Skill 可以理解为一份由 Agent 按需加载的工作手册。它回答的是一种任务应该怎样完成:何时触发、需要哪些输入、按什么顺序执行、产出什么结果、如何验证,以及遇到什么情况应该停止并交给人。

但重复出现,不等于立即创建 Skill。一个实用的 Skill 探索门槛是:相似需求至少出现过两次;或者虽然只发生过一次,但成本高、风险大,并且很可能再次发生。在此基础上,还要确认输入相对稳定、步骤能够复用、结果可以检查,而且没有被现有文档、脚本或 Skill 覆盖。

如果不知道第一个 Skill 应该从哪里来,可以翻看最近几次与 Agent 的对话:

  • • 哪些要求已经解释过两次?

  • • 哪些检查每次都要手工提醒?

  • • 哪些失败修复以后很可能再次出现?

它们通常比一张通用的 Skill 推荐清单更值得优先处理。

例如,团队连续几次在代码审查中遇到同一类问题:Agent 只检查了未暂存的修改;测试运行在较早的代码上,最终提交又发生了变化;总结写着“测试通过”,却没有记录具体命令。与其继续往 AGENTS.md 增加提醒,不如把“审查最终变更”整理成一个 Skill,固定收集变更范围、运行对应检查、记录验证证据,并列出尚未覆盖的风险。

第四步:把重复流程变成可执行的工程接口

写出 Skill,只是定义了方法。要让流程真正运行起来,Agent 还需要读取数据、执行检查或操作外部系统。

这时不必立刻增加一个 MCP Server。对于已经拥有脚本或命令行工具的项目,CLI 通常是成本最低、也最容易复现的起点。一个友好的 Agent CLI 应该:

  • • 能从 --help 中发现用法;

  • • 支持非交互执行;

  • • 输出稳定,必要时提供 JSON 等结构化格式;

  • • 失败时返回明确的错误和退出状态;

  • • 为耗时操作提供超时;

  • • 修改外部状态前支持 plan 或 dry-run。

这样的 CLI 可以同时服务开发者、Agent、脚本和 CI,也容易在本地复现 Agent 的操作。团队已经使用 gh、 kubectl 或内部运维 CLI 时,优先把这些能力整理成稳定接口,通常比为每个 Agent 宿主重新包装一套工具更轻。

CLI 优先并不意味着拒绝 MCP。当外部系统缺少合适的命令行入口,或者需要结构化资源发现、宿主集成、持续交互时,MCP 仍然合适。关键是让 CLI 与 MCP 建立在同一套底层能力和权限规则上,而不是分别定义输入、输出和错误语义。

此外,并不是所有问题都应该由 Skill 提醒。能够被程序明确判断的规则,例如禁止修改生成文件,应该交给脚本、Hook 或 CI 自动检查;涉及生产环境、凭据和不可逆操作,则继续保留权限控制、沙箱或人工确认。

第五步:回到真实任务,让项目记住经验

Agent 完成修改、测试显示通过时,我们很容易马上开始下一个需求。先别急着结束:打开最终代码变更,确认测试覆盖的是这次修改后的版本,再检查它是否走完了必要的 Review 和 CI。代码写完只是过程的一部分,结果能够被验证和交付,这次任务才算完成。

Better Harness 把从理解需求、找到知识、执行修改到验证交付的过程,称为 Agent Work Loop 。在这个循环中, AGENTS.md 帮助 Agent 进入项目,核心文档提供上下文,Skill 与工具推动任务执行,测试、Hook 和权限守住结果与边界。

交付以后,再回头看一眼这次任务:Agent 是否又重新寻找了一遍启动命令?是否在同一个目录上再次犯错?是否仍然需要人提醒某项检查?也要留意那些已经奏效的路径,例如某个排查步骤是否连续帮助了几次任务。

这些反复出现的摩擦和有效经验,才是下一轮改进的起点。可以借助 Loop Discovery ,判断它们应该沉淀在哪里:

  • • 稳定事实,写回 AGENTS.md 或核心文档;

  • • 重复方法,整理成 Skill;

  • • 确定性的操作和检查,交给 CLI、脚本、Hook 或 CI;

  • • 确实需要外部资源发现或持续交互时,再使用 MCP;

  • • 高风险、不可逆的操作,保留权限边界和人工确认。

不过,写进仓库并不代表实践已经生效。等下一次类似任务到来,Agent 能否找到它、用上它,并因此少一次返工或提醒,才决定这项实践是否值得保留。

总结

所谓持续改进,不是不断增加配置,而是让这一次任务留下的东西,真正帮助下一次。

如果刚刚开始,就选择一个最近发生的真实任务:让 Agent 从理解需求走到验证与交付,结束时只沉淀一件最值得复用的经验。

项目不需要在第一天就拥有完整的 Agent 平台。它只需要开始记得自己如何工作。

当这个循环转起来,AI Coding 才不再只是个人临时使用的聪明工具,而会逐渐成为项目自身拥有的工程能力。

详细实践文档可以参考:https://github.com/QoderAI/better-harness/tree/main/references/agent-customize

阅读原文

跳转微信打开

  •  
❌