原创 半吊子全栈工匠 2026-11-15 23:26 哈萨克斯坦

Harness 不是一个已解决的问题,也不是一个商品化层。它是工程所在——将上下文作为稀缺资源管理、设计在失败复合前捕获它们的验证循环、构建提供连续性而不产生幻觉的记忆系统、以及在搭建多少脚手架与留多少给模型之间做架构决策......
【引】Prompt Engineering,Context Engineering,Harness Engineering,Loop Engineering,Graph Engineering....... 我把他们临时称为AI X Engineering,他们各是什么?有什么区别和联系呢? 老码农希望通过系列文章把他们弄清楚。
Harness Engineering:当模型不再稀缺,真正的工作才刚刚开始
同样的模型,同样的权重,仅仅更换了支持它的基础设施,Agent 的效能就有了飞跃式的提升。这个事实把Agent Harness工程推到了台前。
Agent 的能力边界不由模型单独决定。 自主软件工程能力是从「模型-Harness-环境」系统中涌现的,而非仅从模型中产生。在模型能力趋于同质化的 2026 年,Harness 是系统之间最主要的差异来源。Harness 工程是提示工程与上下文工程之后的工程演进。它把编排循环、工具、记忆、上下文管理、状态持久化、错误处理、权限、验证与可观测性整合为一个完整的运行时系统,其角色类似于 Agent 的操作系统。
Harness 与模型是协同进化的关系,而非静态的外壳。 一方面,模型改进应当允许 Harness 变薄;另一方面,对 Harness 本身的自动化迭代(工具、中间件、记忆)带来的性能提升,已经超过了对提示词的优化。
本文尝试对这个正在成形的工程方法做一次系统性的梳理——它是什么、由什么构成、如何演进,以及它为什么会成为 AI 工程的核心议题。
一、两个实验与一个被命名的对象
先看两个可查证的事实。
第一个来自 LangChain。他们没有更换底层模型,只改进了包裹 LLM 的基础设施,如编排方式、工具设计、上下文管理,就曾在 TerminalBench 2.0 基准上从 30 名开外上升至第 5 名。另一个项目则更进一步:让 LLM 自行优化这套基础设施,最终达到 76.4% 的通过率,超过了人工设计的系统。
第二个来自一篇 2026 年的工程报告。OpenAI 描述了一个内部实验:Codex Agent 从一个空仓库出发,逐步生成并塑造出一个生产级软件产品——仓库结构、CI 配置、格式化规则、包管理器设置、应用框架,甚至包括引导后续 Agent 在仓库内工作的初始AGENTS.md文件。这个实验的关键启示不在于模型写了代码,而在于仓库、文档、测试、工具和反馈回路共同构成了一个 Agent 可以工作的环境。
这两个事实指向同一个结论:Agent 不是在真空中运行的。围绕模型存在一套完整的软件基础设施,它决定模型看到什么、能做什么、失败后如何恢复、输出如何被验证。这套基础设施在 2026 年初被正式命名为Agent Harness。
Anthropic 在 Claude Code 的文档中说得相当直白:其 SDK 就是「驱动 Claude Code 的 agent harness」。LangChain 的 Vivek Trivedy 给出了一个更彻底的表述:“如果你不是模型,那你就是Harness。”
换言之,我们通常说的「Agent」是一种涌现行为,那个用户与之交互的、目标导向的、使用工具的、能够自我纠正的实体。而 Harness 是产生这种行为的机器。当有人说“我构建了一个 Agent”时,更准确的说法是:他构建了一个 Harness,并将它指向了某个模型。
二、Harness 是什么
从工程角度,可以给出一个工作定义:
Harness 是包裹 LLM 的完整软件基础设施,包括编排循环、工具接口、记忆系统、上下文管理、状态持久化、错误处理、权限控制和安全护栏。
这个定义没有争议的部分是“包裹”;有争议的是“包裹到什么程度”。为此,Beren Millidge 在 2023 年提出过一个影响深远的类比,把裸 LLM 映射为一台缺少外围系统的计算机:
计算机组件 | Agent 系统中的对应物 | 工程含义 |
|---|
CPU | 裸 LLM(模型权重) | 只负责计算,本身不构成可用系统 |
RAM | 上下文窗口 | 快速但有限,断电即失 |
硬盘 | 外部数据库 / 向量库 | 大容量但访问慢,需检索机制 |
设备驱动 | 工具集成 | 标准化地连接外部能力 |
| 操作系统 | Agent Harness | 调度资源、管理进程、提供安全边界 |
应用程序 | Agent(涌现行为) | 用户实际感知到的产品形态 |
这个类比的高明之处在于:没有人会认为 CPU 的频率决定了一台计算机的全部价值,同样,也不应该认为模型的 benchmark 分数决定了 Agent 系统的全部价值。裸 LLM 是一颗没有 RAM、没有磁盘、没有 I/O 的 CPU,而Harness 是让它可用的操作系统。
值得说明的是,“Harness”一词源自马具(马的挽具)与测试工程中的 test harness,两层含义在这里恰好都成立:它既是对模型这匹“马”的约束与引导,也是一组标准化的执行与观测设施。
三、三层工程,从提示词到运行时
围绕大模型存在三个同心层级的工程,它们的边界需要弄清楚:
层级 | 名称 | 工程对象 | 典型问题 |
|---|
第一层 | 提示工程(Prompt Engineering) | 模型接收的指令文本 | 怎么说,模型才照做? |
第二层 | 上下文工程(Context Engineering) | 模型在每一步看到什么信息 | 什么信息、何时、以何种形式进入窗口? |
第三层 | 驾驭工程(Harness Engineering) | 模型周围的整个应用基础设施 | 系统如何可靠地完成工作并证明自己完成了? |
Anthropic 将上下文工程描述为提示工程之上的进展,专注于策展和管理推理期间 Agent 可用的信息。Harness 工程则更进一步,它要回答的问题包括:Agent 应该知道什么?Agent 能做什么?Agent 永远不该做什么?Agent 如何记忆、如何验证、如何恢复?人类如何审计它?系统如何在失败后改进?
这些问题已经不属于提示词的范畴,而属于系统工程的范畴。用一句概括:提示工程让 AI 有用,上下文工程让 AI 更相关,Harness 工程让 AI 可运营。
四、能力从「模型-Harness-环境」系统中涌现
如果要把 Harness 工程从经验总结提升为一个具有学术色彩的研究方向,2026 年出现的三份文献值得关注。这里按其主张的激进程度依次介绍。
《AI Harness Engineering: A Runtime Substrate for Foundation-Model Software Agents》。这篇论文的核心论点是:自主软件工程能力从模型-Harness-环境系统中涌现,而非仅从模型中产生。论文给出了 Harness 的职责清单:任务规约、上下文选择、工具访问、项目记忆、任务状态、可观测性、失败归因、验证、权限、熵审计与干预记录。这份清单的意义在于,它把 Harness 从工程最佳实践提升为「运行时基座(runtime substrate),一个有明确职责边界的系统层。
《Code as Agent Harness》。这篇论文论证了代码在 Agentic 系统中的角色正在变化:它不再仅是 LLM 的输出,而是越来越多地充当推理、行动、环境建模和基于执行的验证的操作基础。提示词是指令,文档是知识,工具是能力,追溯是证据,但代码是操作结构——工作流、工具、测试、策略、状态机、验证器、沙箱、审批门,最终都以代码的形式定义。由此推出的推论是:AI 原生工程团队会把代码、文档、测试和追溯视为一个组合的 Agent 环境,仓库成为工作空间,文档成为记忆,测试成为验证,CI 管道成为反馈。
《Agentic Harness Engineering》。这篇论文引入了一个可观测性驱动的闭环,用于自动进化编码 Agent 的 Harness。实验结果相当具体:十次迭代将 TerminalBench 2 上的 pass@1 从 69.7% 提升到 77.0%,且实验把收益定位到工具、中间件和长期记忆,而非系统提示词。这为“改进 Harness 比改进提示词更有效”提供了直接的实证支持。
三个来源、三种路径(架构论、代码论、进化论),结论指向一致:更好的系统 = 更好的模型 + 更好的 Harness + 更好的环境,而不是旧思维中的“更好的模型 = 更好的系统”。
从产业侧看,Theory Ventures 的风险投资人给出了一个与学术界呼应的判断:软件工程的核心已经从“构建用户界面、管理数据”转向“搭建将大模型转化为可靠智能代理的框架、运行时、约束与可靠性层”。他们把围绕 LLM 的这套体系概括为七个组件:
组件 | 回答的问题 | 关键要素 |
|---|
Context & Memory | 模型看到什么 | 工作记忆、长期存储、检索与 RAG 管道、提示组装 |
Tools & Action | 模型如何行动 | 工具注册表(MCP)、分发与参数验证、外部 API、权限与审批门 |
Orchestration & Loop | 模型如何思考 | 思考→行动→观察循环、规划与分解、子 Agent 与委派、重试/预算/停止条件 |
State & Persistence | 模型记住什么 | 文件系统与工作空间、检查点与恢复、会话持久化、工件与快照 |
Sandbox & Compute | 模型在哪里运行 | 隔离的 Unix 工作空间、受控网络出口、独立于模型的凭证管理 |
Observability & Governance | 如何信任模型 | 追踪与结构化日志、评估与回归套件、护栏与策略、人在回路 |
Cost & Workflow Optimization | 如何选择在哪运行 | 确定性 vs 非确定性逻辑、模型分级选用、技能 vs 记忆编码、Token 与延迟预算 |
这张表值得与后文的十一组件解剖对照阅读:产业视角的七组件与工程视角的十一组件,覆盖的是同一个对象,只是切分粒度不同。
五、生产级 Harness的11个组件
综合 Anthropic、OpenAI、LangChain 与更广泛的从业者实践,一个生产级 Agent Harness 包含十一个独立组件。
1. 编排循环(Orchestration Loop)
这是 Harness 的心跳。它实现「思考-行动-观察」(TAO)循环,也称 ReAct 循环:组装提示词 → 调用 LLM → 解析输出 → 执行工具调用 → 反馈结果 → 重复直到完成。
机制上它通常只是一个while循环——复杂性不在循环本身,而在循环所管理的一切。Anthropic 将其运行时描述为一个「笨循环」(dumb loop):所有智能都在模型中,Harness 只管轮次。
2. 工具(Tools)
工具是 Agent 的双手,以模式(名称、描述、参数类型)的形式注入上下文。工具层负责注册、模式验证、参数提取、沙箱执行、结果捕获,以及将结果格式化为模型可读的观察。
Claude Code 提供六大类工具:文件操作、搜索、执行、网络访问、代码智能和子 Agent 生成;OpenAI 的 Agents SDK 则区分函数工具、托管工具(WebSearch、CodeInterpreter、FileSearch)与 MCP 服务器工具。工程上需要特别注意:套件的质量很大程度上取决于安全暴露工具的数量与处理工具故障的能力,而非工具的总数。
3. 记忆(Memory)
记忆在多个时间尺度上运作。短期记忆是单会话内的对话历史;长期记忆跨会话持久化——Anthropic 使用CLAUDE.md项目文件与自动生成的MEMORY.md,LangGraph 使用按命名空间组织的 JSON 存储,OpenAI 支持由 SQLite 或 Redis 支撑的 Sessions。
Claude Code 实现了三层层级:轻量级索引(每条约 150 字符,始终加载)、按需拉取的详细主题文件、以及仅通过搜索访问的原始记录。这一设计的动机是成本与信号的平衡:把总是需要的信息常驻,把偶尔需要的信息按需加载。
4. 上下文管理(Context Management)
这是许多 Agent 静默失败的地方。核心问题是上下文腐化(context rot):当关键内容落在窗口中间位置时,模型性能可能会下降超过 30%;即使是百万 Token 的窗口,随着上下文增长也会出现指令遵循能力退化(这与 Liu et al. 2023 年的「lost in the middle」发现一致)。
生产级策略有四类:
- 压缩(Compaction):接近窗口限制时总结对话历史,Claude Code 的做法是保留架构决策和未解决的 Bug,丢弃冗余工具输出;
- 观察遮蔽(Observation Masking):JetBrains 的 Junie 隐藏旧工具输出,同时保持工具调用本身可见;
- 即时检索(Just-in-time Retrieval):维护轻量级标识符并动态加载数据,Claude Code 使用grep、
glob、head、tail而非加载完整文件; - 子 Agent 委派:每个子 Agent 大量探索,但只向父 Agent 返回 1,000 到 2,000 Token 的精炼摘要。
Anthropic 的上下文工程指南把目标概括为一句话:找到最小的高信号 Token 集,最大化期望结果的可能性。ACON 研究为这个方向提供了量化支持:通过优先保留推理轨迹而非原始工具输出,可在保持 95% 以上准确率的同时减少 26%–54% 的 Token。
5. 提示词构建(Prompt Construction)
这一步组装模型在每一步实际看到的内容,它是分层的:系统提示词、工具定义、记忆文件、对话历史、当前用户消息。
OpenAI 的 Codex 使用严格的优先级栈:服务器控制的系统消息(最高优先级)→ 工具定义 → 开发者指令 → 用户指令(级联AGENTS.md文件,总量 32 KB 限制)→ 对话历史。优先级栈的意义在于,当不同来源的指令冲突时,系统行为是可预测的。
6. 输出解析(Output Parsing)
现代 Harness 依赖原生工具调用:模型返回结构化的tool_calls对象,而非需要正则解析的自由文本。Harness 的判定逻辑很简单——有工具调用就执行并循环,没有就给出最终答案。
对于结构化输出,OpenAI 与 LangChain 都支持通过 Pydantic 模型进行模式约束。旧的方法如RetryWithErrorOutputParser(将原始提示词、失败补全和解析错误一起喂回模型)仍可用于边缘情况。
7. 状态管理(State Management)
LangGraph 将状态建模为流经图节点的类型化字典,使用 reducer 合并更新,检查点发生在超步边界处,支持中断后恢复和时间旅行调试。
OpenAI 提供四种互斥策略:应用内存、SDK 会话、服务端 Conversations API、或轻量级previous_response_id链接。
Claude Code 则采取了一种更朴素的方式:以 git 提交作为检查点,以进度文件作为结构化草稿本。
三种做法的共同点是:状态必须外置于模型——模型本身是无状态的,这是后文“协同进化”的物理基础。
8. 错误处理(Error Handling)
这里有一个每个架构师都该记住的算术:一个 10 步流程,每步 99% 的成功率,端到端成功率只有约90.4%——因为错误会复合。步骤越长,对单步可靠性的要求就越苛刻,这是 Agent 系统与单轮问答在工程上的本质区别。
LangGraph 区分四种错误类型:瞬时错误(带退避重试)、LLM 可恢复错误(将错误作为 ToolMessage 返回,让模型自行调整)、用户可修复错误(中断并请求人工输入)、意外错误(上抛供调试)。Anthropic 的做法是在工具处理器内捕获失败并作为错误结果返回,保持循环不中断;Stripe 的生产级 Harness 则将重试次数上限设为两次。
9. 安全护栏(Guardrails and Safety)
OpenAI 的 SDK 实现了三个层级:输入护栏(在第一个 Agent 上运行)、输出护栏(在最终输出上运行)、工具护栏(在每次工具调用上运行),并以「绊线」机制在触发时立即停止 Agent。
Anthropic 在架构上做了一个重要区分:权限执行与模型推理分离——模型决定尝试什么,工具系统决定允许什么。Claude Code 独立门控约 40 个离散工具能力,分三个阶段执行:项目加载时的信任建立、每次工具调用前的权限检查、高风险操作的显式用户确认。
10. 验证循环(Verification Loops)
这是区分玩具演示与生产级 Agent 的关键。Anthropic 推荐了三种方法:基于规则的反馈(测试、lint、类型检查器)、视觉反馈(通过 Playwright 截图用于 UI 任务)和LLM-as-judge(由独立的子 Agent 评估输出)。Claude Code 的创造者 Boris Cherny 的经验数据是:给模型一种验证自己工作的方式,可以将质量提升2 到 3 倍。
验证机制也可以按 Thoughtworks 团队的方式分为两类——引导(feedforward,行动前引导)与传感器(feedback,行动后观察),前者如 lint 与类型检查,后者如测试与评审。
11. 子 Agent 编排(Subagent Orchestration)
Claude Code 支持三种执行模型:
(1)Fork:父上下文的字节级相同副本
(2)Teammate:独立终端窗格,基于文件的邮箱通信
(3)Worktree:独立 git worktree,每个 Agent 一个隔离分支
OpenAI 的 SDK 支持 agents-as-tools(专家处理有界子任务)与 handoffs(专家接管完全控制)两种模式;LangGraph 则将子 Agent 实现为嵌套状态图。三种方案的共同设计约束是:子任务需要隔离的上下文,结果必须以受控的方式回流。
六、一次循环的逐步走查
组件清单是静态视角,要看 Harness 如何工作,需要追踪一次完整的循环,整个过程可以概括为七步:
- 提示词组装:Harness 构建完整输入——系统提示词 + 工具模式 + 记忆文件 + 对话历史 + 当前用户消息。重要上下文被放置在提示词的开头和结尾(依据「迷失在中间」的发现)。
- LLM 推理:组装好的提示词发送给模型 API,模型生成输出 Token:文本、工具调用请求,或两者兼有。
- 输出分类:不含工具调用的文本意味着循环结束;请求了工具调用则进入执行;请求了交接(handoff)则更新当前 Agent 并重启。
- 工具执行:对每个工具调用,验证参数、检查权限、在沙箱环境中执行并捕获结果。只读操作可并发执行,变更操作串行执行。
- 结果打包:工具结果被格式化为模型可读的消息;错误被捕获并作为错误结果返回,让模型可以自我纠正。
- 上下文更新:结果追加到对话历史;若接近窗口限制,触发压缩。
- 循环:返回第 1 步,重复直到满足终止条件。
用伪代码表达,这个循环的骨架大致如下:
while True:
prompt = assemble(system_prompt, tools, memory, history, user_msg)
response = llm.call(prompt) # 步骤 1-2
if not response.tool_calls: # 步骤 3
return response.text # 终止:任务完成
for call in response.tool_calls: # 步骤 4
if not guardrail.check(call): # 权限检查(此处被门控)
result = ToolError("permission denied")
else:
result = sandbox.execute(call) # 沙箱执行
history.append(pack(results)) # 步骤 5-6
if near_limit(history): # 上下文压缩
history = compact(history)
循环部分确实简单,但每个步骤背后都有大量基础设施在支撑。终止条件是分层的:模型产生不含工具调用的响应、超过最大轮次限制、Token 预算耗尽、护栏绊线触发、用户中断、或安全拒绝返回。一个简单问题可能只需 1–2 轮;一个复杂重构任务可能跨多轮链式调用数十个工具。
对于跨越多个上下文窗口的长运行任务,Anthropic 开发了一个两阶段的Ralph Loop模式:先由一个初始化 Agent搭建环境(初始化脚本、进度文件、功能列表、初始 git 提交),此后每次会话中的编码 Agent读取 git 日志和进度文件来定位自己,选择最高优先级的未完成功能,处理它,提交,并写摘要。这个模式的精髓在于:文件系统提供了跨上下文窗口的连续性,上下文窗口会清空,但仓库不会。
七、十二层参考架构:从组件到栈
当 Agent 系统从单机脚本演进为企业基础设施时,组件清单需要重新组织为分层架构。下面这份 2026 年的参考技术栈把前述组件扩展为十二层:
┌──────────────────────────────────────────────────────┐
│ 12. Self-Evolving Harness Layer │
│ 自进化层(基于追踪和结果改进自身) │
├──────────────────────────────────────────────────────┤
│ 11. Observability Layer │
│ 可观测性层(模型调用/工具调用/追溯/成本) │
├──────────────────────────────────────────────────────┤
│ 10. Verification Layer │
│ 验证层(测试/评估/模式检查/验收标准) │
├──────────────────────────────────────────────────────┤
│ 9. Safety & Security Layer │
│ 安全层(最小权限/沙箱/审计日志/熔断开关) │
├──────────────────────────────────────────────────────┤
│ 8. Identity & Permission Layer │
│ 身份权限层(OAuth/作用域/角色/审计) │
├──────────────────────────────────────────────────────┤
│ 7. Memory Layer │
│ 记忆层(短期状态 + 长期知识) │
├──────────────────────────────────────────────────────┤
│ 6. Runtime & State Layer │
│ 运行时层(会话/重试/中断恢复/审批/交接) │
├──────────────────────────────────────────────────────┤
│ 5. A2A Agent Gateway │
│ Agent 间网关(跨框架/跨厂商安全通信) │
├──────────────────────────────────────────────────────┤
│ 4. MCP Tool Gateway │
│ 工具网关(文件/数据库/API/CRM/代码仓库) │
├──────────────────────────────────────────────────────┤
│ 3. Knowledge Layer (Obsidian-Style) │
│ 知识层(Markdown 仓库 = Agent 长期记忆) │
├──────────────────────────────────────────────────────┤
│ 2. Context Router │
│ 上下文路由器(每步决定什么信息进入窗口) │
├──────────────────────────────────────────────────────┤
│ 1. Model Layer │
│ 模型层(LLM/VLM/编码模型/嵌入模型) │
└──────────────────────────────────────────────────────┘
与前面的11组件相比,这个技术栈新增或强化了四个层,值得单独说明。
上下文路由器(第 2 层)被提升为独立的一层,因为「每一步决定什么信息进入窗口」是贯穿全流程的持续决策,而非一次性配置。原则很朴素:Demo Agent 接收一切,生产 Agent 接收正确的东西——太多上下文制造噪音,旧上下文制造矛盾,无关上下文分散注意力,敏感上下文制造安全风险。
知识层(第 3 层)的主张是:Agent 的长期记忆应当以 Markdown 纯文本文件为载体,放在可版本化的仓库中。Obsidian 的 vault 架构为此提供了原型——Markdown 文件人类可读、Agent 可读、可在 Git 中版本化、可成为 RAG 源、可成为项目记忆与执行上下文。一个企业级知识库通常包括AGENTS.md、ARCHITECTURE.md、DECISIONS.md、WORKFLOWS.md、EVALS.md、PLAYBOOKS.md等文件。这不只是文档,而是操作记忆:如果 Agent 无法访问知识,知识就不存在。
MCP 工具网关与 A2A Agent 网关(第 4、5 层)分别解决两类连接问题。MCP是 AI 应用与外部数据源、工具集成的标准化开放协议,遵循客户端-主机-服务器模型,在支持跨应用集成的同时维护安全边界。A2A则是一个使独立 AI Agent 系统之间能够通信和互操作的开放标准——即使它们由不同框架、不同语言、不同厂商构建。三者的分工可以概括为:MCP 管工具,A2A 管 Agent,Harness 管控制。
运行时与状态层(第 6 层)是一个常被低估的现实:真实工作流可能耗时五分钟、五小时或五天,可能需要人工审批,可能半途失败、暂停恢复、交接给另一个专家 Agent。这些需求无法用简单提示处理,需要一个管理轮次、状态、会话、重试、中断、可恢复性、交接与审批的运行时。
至于其余各层,记忆、身份权限(OAuth 2.0 作用域与角色边界)、安全(OWASP Agentic Applications Top 10 所列的提示注入、工具滥用、记忆投毒、过度自主等风险)、验证、可观测性等。在第五节已有对应组件的工程细节,需要强调的只有一条架构原则:在云架构中,控制面管理编排、策略、安全、配置和运营;Agentic AI 需要同样的控制面。这就是 Harness 被称为「Agent 操作系统」的由来。
八、同一个模式,不同框架的设计哲学
主流框架已经收敛到同一个核心模式,但在设计哲学上各有取舍。下表是对五个代表性实现的横向比较:
维度 | Claude Agent SDK | OpenAI Agents SDK | LangGraph | CrewAI | AutoGen |
|---|
循环 | 笨循环 + 聪明模型 | Runner 类(异步/同步/流式) | 显式状态图 | 顺序/层级式 | 对话驱动 |
状态 | git 提交作检查点 | 四种策略 | 类型化字典 + 检查点 | 任务结果 | 消息历史 |
多 Agent | Fork / Teammate / Worktree | agents-as-tools / handoffs | 嵌套状态图 | Agent-Task-Crew | 5 种编排模式 |
哲学 | 薄 Harness,信任模型 | 代码优先 | 图式显式控制 | 角色化协作 | 对话即协议 |
Anthropic 的 Claude Agent SDK 通过单个query()函数暴露整个 Harness,返回异步迭代器流式传输消息,运行时遵循“收集-行动-验证”循环:收集上下文(搜索文件、读取代码)→ 采取行动(编辑文件、运行命令)→ 验证结果(运行测试、检查输出)→ 重复。
OpenAI 走代码优先路线:工作流逻辑用原生 Python 表达而非图 DSL;其 Codex Harness 以三层架构扩展——Codex Core(Agent 代码 + 运行时)、App Server(双向 JSON-RPC API)与客户端界面(CLI、IDE、Web),所有界面共享同一 Harness,这也是Codex 模型在 Codex 界面上的表现优于通用聊天窗口的原因。
LangGraph 从 LangChain 的 AgentExecutor 演化而来(后者因难以扩展且缺乏多 Agent 支持而在 v0.2 中被弃用),其 Deep Agents 明确使用了agent harness一词。CrewAI 则在角色化协作之上增加了 Flows 层,实现确定性骨干加关键位置智能。
对框架的技术选型而言,没有普适的正确答案,只有权衡。框架差异本质上是把多少逻辑放在 Harness 中、多少留给模型这个根本问题的不同回答。
九、Harness 架构师的七个决策
无论使用哪个框架,Harness 架构师都面临七个设计决策。这是整个设计空间的结构化表达:
决策 | 选项 A | 选项 B | 工程证据与判断依据 |
|---|
1. Agent 数量 | 单 Agent | 多 Agent | 两者都建议先最大化单 Agent;工具超过约 10 个且明显分域时才拆分 |
2. 推理策略 | ReAct(逐步交替) | 计划-执行(规划分离) | LLMCompiler 报告计划-执行相比顺序 ReAct 有 3.6 倍加速 |
3. 上下文策略 | 压缩/清除/遮蔽 | 结构化笔记/子 Agent | ACON:优先保留推理轨迹可减少 26–54% Token 且保持 95%+ 准确率 |
4. 验证设计 | 计算验证(测试/lint,确定性) | 推理验证(LLM-as-judge,语义) | 前者提供确定性真值,后者捕获语义问题但增加延迟 |
5. 权限架构 | 宽松(快但有风险) | 严格(安全但缓慢) | 取决于部署上下文与操作后果的可逆性 |
6. 工具范围 | 全量工具 | 每步最小集 | Vercel 从 v0 移除 80% 的工具反而获得更好结果;Claude Code 惰性加载实现 95% 上下文减少 |
7. Harness 厚度 | 薄(信任模型) | 厚(代码编码控制) | 见下一节的协同进化讨论 |
其中第 4 项可以借用 Martin Fowler 的框架重新表述:验证机制分为引导与传感器。一个成熟的 Harness 两者兼有,并在成本与覆盖之间寻找平衡。
第 6 项值得展开说明,“更多工具往往意味着更差性能”是一个反直觉但被反复验证的结论:工具定义本身占据上下文,与任务无关的工具会分散模型注意力并增加选错工具的概率。原则是暴露当前步骤所需的最小工具集。
十、Harness 会消失吗
建筑行业的脚手架是一种临时基础设施,使工人能够建造他们原本无法触及的结构。脚手架不做建造,但没有它,工人到不了上层,无法施工。这个隐喻的关键在后半句:建筑完成后,脚手架会被拆除。
Manus 的实践为这个隐喻提供了实证:他们在六个月内把产品重建了五次,而每一次重写都在移除复杂性,复杂的工具定义退化为通用 shell 执行,管理 Agent的专门机制退化为简单的结构化交接。随着模型改进,Harness 的复杂性确实在下降。
但这不等于 Harness 会消失,因为存在一个反向的耦合:协同进化原则(co-evolution principle)。模型如今是在特定 Harness 环路的情况下进行后训练的。Claude Code 的模型学会了使用它被训练时的特定 Harness,更改工具实现可能因这种紧密耦合而降低性能。这解释了为什么 Anthropic 会定期从 Claude Code 的 Harness 中删除规划步骤:不是 Harness 设计变差了,而是新模型版本已经内化了那种能力,继续保留反而冗余。
于是, Harness 的厚度成为一个动态的架构押注:薄 Harness(Anthropic 路线)押注模型持续改进,Harness 只保留工具、上下文与权限;厚 Harness(图框架路线)押注显式控制,把路由、规划、多步策略编码进代码。
一个实用的面向未来的设计检验标准是:如果性能随更强大的模型而提升,且不需要增加 Harness 复杂性,那这个设计就是合理的。 换言之,Harness 应当为模型的下一步改进预留下降空间,而不是把当前模型的能力短板用硬编码固化下来。
十一、成熟度模型:H0 到 H5
对企业而言,需要一个尺度来评估自己的 Agent 系统处于什么位置。以下六级成熟度模型可以直接作为评估框架使用:
等级 | 名称 | 描述 | 主要风险 |
|---|
| H0 | 纯提示 Agent | 有系统提示和一些指令,适合 demo | 幻觉、不一致、无验证、无记忆 |
| H1 | 工具连接 Agent | 能调用工具,但未权限化/日志化/验证 | 工具滥用、不安全操作、恢复差 |
| H2 | 有状态 Agent | 有短期状态、记忆与工作流连续性,可恢复任务 | 记忆漂移、上下文过时、归属不清 |
| H3 | 可观测且经验证的 Agent | 有追溯、评估、测试、审批门、失败归因 | 实施成本高、治理复杂 |
| H4 | 多 Agent 操作系统 | MCP 网关、A2A 通信、身份、权限、验证、可观测性齐备 | 架构复杂、安全面大、运营开销 |
| H5 | 自进化 Harness | 基于追溯和结果改进自身工具、中间件、记忆、路由和评估 | 不受控进化、回归、治理挑战 |
一个符合行业现状的判断是:大多数公司今天处于 H0 到 H2 之间,在企业级 AI 应用中胜出的团队将向 H3、H4 移动,最终抵达 H5。这个模型的价值不在分级本身,而在于它把“我们的 Agent 为什么不可靠”这个问题,转化为“我们缺哪几层”的可诊断形式。
值得单独说明的是 H5。前面引用的《Agentic Harness Engineering》实验(十次迭代将 pass@1 从 69.7% 提升到 77.0%,收益来自工具、中间件与长期记忆)表明,自进化 Harness 并非概念炒作,而是已有量化结果的方向。它意味着 AI 系统第一次在**基础设施层面**实现自我改进——不只是自改进的模型,而是自改进的 Harness。
十二、工程检查清单与常见反模式
将部署前的检查动作压缩为10个需要回答的问题:
维度 | 关键问题 |
|---|
上下文 | Agent 在正确时间收到正确上下文吗?能移除过时/无关上下文吗?需要时能检索到更深文档吗? |
知识 | 公司知识是否结构化、版本化、Agent 可读?还是困在聊天工具、邮件和人脑里? |
工具 | 工具是否经标准化网关接入?有类型、文档、权限和日志吗?危险工具能被沙箱或阻止吗? |
Agent | Agent 能通过受控接口协作吗?能防止不必要的记忆或工具暴露吗? |
记忆 | 短期状态和长期记忆是否分离?中断后能恢复吗?记忆能被审计、编辑或删除吗? |
身份 | 每个 Agent 有身份吗?权限能被撤销吗?操作能被审计吗? |
安全 | 是否防御提示注入、记忆投毒、过度自主和不安全工具执行?有熔断开关吗? |
验证 | Agent 如何证明成功?失败能复现吗? |
可观测性 | 能追溯每个模型调用、工具调用、交接、护栏触发和审批事件吗? |
改进 | Agent 失败时,你只修复输出,还是改进 Harness? |
最后一个问题最重要:最好的团队不仅纠正 Agent 的错误,而是把每次失败转化为更好的工具、记忆、验证和运行时设计。
同样,值得警惕的是反复出现的反模式:
反模式 | 直接后果 | 纠正方向 |
|---|
用提示词堆砌本应由系统保证的行为 | 行为不可复现,回归无法测试 | 把约束下沉到 Harness 层(验证、权限、状态) |
全量暴露工具 | 上下文被工具定义挤占,选错工具率上升 | 按步骤惰性加载最小工具集 |
单一记忆池,不分短期长期 | 幻觉被持久化,错误经验被反复复用 | 分层记忆 + 审计与编辑能力 |
失败后无条件重试 | 错误复合,成本失控 | 区分四类错误,重试设上限 |
无追溯的黑箱运行 | 失败不可归因,无法改进 | 全流程追踪与结构化日志先行 |
把 Harness 当静态外壳 | 模型升级后 Harness 冗余甚至冲突 | 定期瘦身,遵循协同进化原则 |
结束语:Harness 就是产品
使用相同模型的两个产品,仅因 Harness 设计不同,就可以有天壤之别的性能。这不是模型的问题,也不是提示词的问题,而是系统工程的问题。
Harness 不是一个已解决的问题,也不是一个可以轻易商品化的层。它是工程所在:将上下文作为稀缺资源管理,设计在错误复合之前捕获它们的验证循环,构建提供连续性而不产生幻觉的记忆系统,并“在搭建多少脚手架”与“留多少能力给模型”之间做出持续的架构决策。
当前的趋势是向更薄的 Harness 演进,因为模型在改进。但 Harness 本身不会消失:即使是最强大的模型,也需要有内容来管理它的上下文窗口、执行它的工具调用、持久化它的状态、验证它的工作。模型能推理,Harness 让它能工作;模型能生成,Harness 让它能执行;模型能建议,Harness 让它能验证。
当模型不再稀缺,胜负手就转移到模型周围。下次你的 Agent 失败时,别急着怪模型,先看看 Harness。
ps: 作译者群的作品推荐——
【参考资料与关联阅读】
Liu, N. F. et al. (2023).Lost in the Middle: How Language Models Use Long Contexts. TACL.
Millidge, B. (2023).LLM OS: LLMs as the Kernel of an Emerging Operating System.
- AI Harness Engineering: A Runtime Substrate for Foundation-Model Software Agents. 2026.
- Agentic Harness Engineering. 2026.(Terminal-Bench 2 自进化实验)
- Code as Agent Harness. 2026.
ACON:Context Compression for LLM Agents. 2026.
Anthropic.Claude Code document
OpenAI. Agents SDK document.
Theory Ventures.The Seven Components of an AI Agent Harness. 2026.
OWASP.Agentic Applications Top 10 (2026).
Google Cloud.Agent2Agent (A2A) Protocol ;Anthropic.Model Context Protocol (MCP) .
跳转微信打开