Harness EngineeringAI Agent 稳定落地的核心引擎分析、整理并扩写。原材料存在表格错位、条目缺失和个别疑似转写错误本文在不改变核心观点的前提下重构了内容。文中企业实践部分作为工程思路示例不作为对相关公司内部架构的完整或最新官方描述。一、原材料分析原材料试图回答一个重要问题为什么同一个大模型在演示环境里表现很好接入真实业务后却经常不稳定它给出的答案是模型本身只决定系统能力的一部分。要让 AI Agent 从“偶尔能做对”走向“持续、稳定、可验证地完成任务”还需要在模型之外建立完整的运行体系包括上下文、工具、任务编排、状态管理、评估观测、约束校验和失败恢复。这套体系被称为Harness Engineering。材料最有价值的三点是用 Prompt、Context、Harness 三个层次解释 AI 工程关注点的演进将成熟 Harness 拆分为六个相互配合的工程层强调验证、状态和恢复能力而不是只关注模型生成质量。原材料也存在几处需要修正或补充的地方三阶段对比表在纯文本中发生了字段错位需要重新排版“检索增强IG”更可能是“检索增强生成RAG”的转写错误“上下文边界层”的关键组件从第 1 项直接跳到第 3 项第 2 项缺失本文结合上下文补充为“信息选择与边界控制”企业案例没有列出来源、产品版本和时间应作为方法论示例审慎表述原材料主要讲技术组成但对安全权限、人工治理、评估指标和实施路线展开不足本文予以补全。二、Harness Engineering 的定义Harness 的本义是挽具、背带或控制装置。在 AI Agent 语境下可以把它理解成一套“驾驭系统”不是替代模型思考而是让模型在清晰目标、正确上下文、有限权限和可验证流程中完成真实任务。一个相对完整的定义是Harness Engineering 是围绕 AI Agent 建设运行环境和工程控制体系的实践。它涵盖模型之外所有影响任务稳定交付的关键能力包括目标定义、上下文供给、工具调用、流程编排、记忆与状态、质量评估、运行观测、权限约束、异常恢复和人工治理。它要解决的不是“模型能不能生成一个正确答案”而是以下一组更接近生产环境的问题Agent 是否理解了真实目标Agent 是否拿到了正确且足够的信息Agent 是否选对了工具和执行顺序执行中断后能否继续而不是从头开始结果是否经过独立验证失败后能否停止、重试、回滚或请求人工处理全过程是否可观察、可审计、可追责系统能否在可接受的成本和风险内重复运行。因此Harness Engineering 的核心不是让模型“看起来更聪明”而是把不稳定的概率性能力组织成相对稳定的工程能力。三、为什么只有模型还不够大模型擅长理解语言、归纳信息、生成方案和调用工具但它天然具有一些不适合直接进入生产流程的特点输出具有概率性同一输入可能产生不同结果容易在信息不足时做出合理猜测长任务中可能遗忘早期约束或偏离目标对自身答案的判断不一定可靠不天然掌握企业内部的最新知识和隐性规则不理解某个操作在真实环境中的业务后果无法仅靠语言推理证明代码、数据或界面真的正确面对工具故障、网络异常和状态冲突时可能无序重试。在演示中这些问题可能只表现为一次回答不够准确在生产系统中却可能造成错误写入、重复操作、敏感信息泄露、服务中断或难以追责。Harness 的作用就是把目标、事实、权限、工具和验证从模型内部推理中剥离出来变成外部可控制、可检查的工程机制。四、AI 工程的三个关注层次Prompt Engineering、Context Engineering 和 Harness Engineering 并不是简单的替代关系而是从局部到整体的逐层扩展。层次核心问题主要手段技术重点主要局限Prompt Engineering提示词工程模型是否听懂指令角色设定、任务说明、格式约束、少样本示例优化语言表达无法补齐缺失知识也难以管理持续变化的外部状态Context Engineering上下文工程模型是否获得了正确的信息RAG、信息筛选、渐进式披露、上下文分层优化信息供给不能单独解决长任务中的执行监督、权限控制和失败恢复Harness Engineering驾驭工程Agent 能否持续、稳定地完成任务工具系统、执行编排、状态管理、验证观测、约束恢复优化完整运行系统建设复杂度更高需要跨模型、数据、平台、安全和业务协同1. Prompt Engineering把话说清楚Prompt Engineering 关注如何表达任务让模型更准确地理解角色、目标、限制和输出格式。常见方式包括明确模型身份和任务目标规定输出结构提供正例和反例拆分复杂要求说明禁止事项要求模型先分析再输出。提示词很重要但它不能创造模型没有获得的事实也不能替代真实环境中的执行和验证。2. Context Engineering把信息给对Context Engineering 关注的不只是“给更多资料”而是“在正确的时间提供正确的信息”。典型机制包括从知识库或代码库检索相关内容只在需要时加载详细资料区分稳定规则、当前任务和临时证据对过期、冲突和低可信信息进行过滤为不同步骤提供不同粒度的上下文对长任务做摘要和信息压缩。上下文工程可以减少知识缺失和信息噪声但如果没有流程控制、外部验证和失败恢复Agent 仍可能在执行中逐渐偏离。3. Harness Engineering让系统持续做对Harness Engineering 把 Prompt 和 Context 纳入更大的系统边界并增加真实行动所需的工具、状态、流程、验证、安全和恢复机制。三者可以概括为Prompt 解决“说清楚”Context 解决“信息对”Harness 解决“在真实环境里持续做对”。五、成熟 Harness 的六层架构六层不是彼此孤立的模块而是一个相互制约的闭环。上层定义目标和信息边界中间层负责执行与状态下层提供验证、控制和恢复。1. 上下文边界层核心目标确保 Agent 在正确的问题范围、事实范围和责任范围内思考避免因目标模糊、信息污染或规则冲突而偏离任务。关键组件角色与目标定义需要明确Agent 当前扮演什么角色要解决什么问题哪些内容属于任务范围成功标准是什么哪些决策可以自主完成哪些情况必须请求人工确认。信息选择与边界控制这是对原材料缺失条目的补充。它负责选择与当前任务直接相关的信息排除无关、过期或未经授权的数据标注事实来源和可信等级处理规则之间的优先级控制上下文长度和敏感信息暴露。结构化组织建议将上下文分为长期稳定规则安全政策、组织规范、业务红线项目知识架构、术语、接口、数据定义当前任务目标、范围、步骤和验收条件动态状态已完成事项、待处理问题和中间结果外部证据日志、检索结果、测试报告和工具返回值。设计原则只提供当前步骤真正需要的信息权威规则与普通资料分开动态状态与长期知识分开所有关键事实尽量可追溯过期信息应有更新或失效机制。2. 工具系统层核心目标为 Agent 提供连接现实世界的受控接口使其能够检索、计算、修改、测试和执行而不只是输出文字建议。工具类型信息工具搜索、数据库查询、知识库检索、日志读取开发工具文件编辑、版本控制、编译、测试和静态分析业务工具订单查询、内容发布、工单创建、客户信息读取交互工具浏览器、桌面操作、表单填写和截图运维工具监控查询、部署、扩缩容和回滚协作工具发送消息、生成报告、申请审批和任务交接。三个关键难题工具选择工具太少会限制能力工具太多则会增加选择错误、权限风险和调用成本。应优先提供边界清晰、稳定、可组合的工具。调用时机Agent 需要知道什么时候应该查证什么时候可以直接回答。既要避免可以读取事实时凭空猜测也要避免每个简单问题都进行高成本调用。结果处理工具可能返回大量噪声、错误状态或不完整结果。Harness 需要对返回值进行结构化、筛选、截断和可信度标注使它成为后续决策的有效证据。工具设计要求输入参数有明确类型和约束输出结构稳定错误信息可被 Agent 理解写操作尽量支持幂等和回滚高风险工具必须设置审批工具调用过程必须留痕凭据不直接暴露给模型。3. 执行编排层核心目标将复杂目标拆成可执行、可检查、可恢复的步骤防止 Agent “想到哪做到哪”。典型执行流程理解目标和验收标准检查已有信息是否足够获取缺失信息生成可执行计划按计划调用工具检查每一步结果根据证据进行修正完成整体结果验证输出交付物和执行摘要。编排层应具备的能力任务分解与依赖管理步骤状态记录超时与重试次数限制并行任务协调条件分支与异常分支人工审批节点中断后的继续执行达到终止条件后及时停止。编排的价值不在于把所有任务变成固定流程而在于为动态决策提供稳定骨架。4. 记忆与状态层核心目标解决 Agent 在长任务、多轮会话和跨会话协作中的“失忆”与状态混乱问题。三类状态当前任务状态包括任务目标、当前步骤、已完成事项、待办事项、阻塞原因、权限状态和验收进度。会话中间结果包括临时分析、工具返回、代码差异、测试结果和正在使用的假设。这类信息有价值但通常不应永久保存。长期记忆与用户偏好包括经过确认的用户偏好、稳定业务规则、长期项目决策和历史成功经验。管理原则任务状态、临时证据和长期知识分类存储长期记忆写入前应确认真实性和必要性用户偏好不能覆盖安全政策或当前明确指令敏感信息设置保存期限和访问权限对旧状态进行版本管理避免把过期信息当成当前事实关键状态外部化不能只依赖模型上下文。5. 评估与观测层核心目标建立独立于 Agent 自我判断的质量反馈机制避免“自我感觉良好”。评估体系规则验证格式、字段、范围、政策是否合规确定性测试计算结果、代码测试、查询校验模型评估对开放性内容进行多维度打分人工验收处理高价值、高风险或主观性任务线上反馈观察真实用户行为和业务结果回归评测确保系统升级后旧能力没有明显退化。可观测内容输入目标和上下文来源计划及关键决策每次工具调用及返回状态状态变化失败类型和重试过程输出内容与验证证据执行时长、资源消耗和成本人工介入和审批记录。观测的价值观测不是为了保存所有模型思考过程而是为了回答系统做了什么、依据是什么、哪里失败、如何恢复、结果是否可信。6. 约束校验与恢复层核心目标在错误不可避免的前提下控制错误影响并让系统恢复到可继续工作的状态。约束机制约束回答“Agent 可以做什么、不能做什么”。主要包括最小权限目录和数据访问范围网络与外部服务白名单资源、时间和成本上限高风险动作审批敏感信息保护操作频率和并发限制。校验机制校验应覆盖执行前、执行中和执行后执行前检查参数、权限和前置条件执行中检查状态变化和异常信号执行后检查结果、影响范围和验收标准。恢复机制对瞬时故障进行有限重试对参数错误先修正再重试设置检查点并从最近状态恢复对写操作使用事务、备份或补偿动作超过风险阈值时自动停止无法可靠判断时升级给人工处理。真正决定系统可用性的往往不是它从不失败而是它能否识别失败、限制损失并恢复。六、六层架构如何协同以“让 Agent 修复一个线上系统的登录异常”为例上下文边界层说明问题范围、禁止直接修改生产数据并提供登录模块架构工具系统层允许读取日志、搜索代码、修改测试环境文件和运行测试执行编排层要求先复现、再定位、再修改、最后回归记忆与状态层记录已经排除的原因、修改内容和当前验证进度评估与观测层保存日志证据运行单元测试和端到端登录测试约束校验与恢复层阻止未经批准的生产发布并在测试失败时回滚改动。如果缺少其中任何一层系统都可能出现明显问题没有上下文边界Agent 可能修改错误模块没有工具系统只能给出建议无法验证没有执行编排可能跳过复现直接改代码没有状态管理长任务中会重复操作或忘记结论没有评估观测无法证明问题已经解决没有约束恢复错误操作可能直接影响生产。七、实践案例的工程化解读原材料提到 Anthropic 和 OpenAI 的若干做法。由于材料未给出来源和版本下面不把它们表述为相关公司的完整官方架构而是提炼其中具有普遍价值的方法。1. 长任务中的上下文重置长时间运行的 Agent 会不断积累对话、工具结果和中间分析。上下文越长不一定效果越好反而可能出现早期错误持续影响后续判断重要约束被大量细节淹没重复信息增加成本状态与事实互相冲突模型注意力下降。上下文重置的核心不是简单清空而是先将任务状态外部化再建立一份经过筛选的恢复摘要然后在更干净的上下文中继续工作。建议保留原始目标和验收标准当前进度已确认事实已完成改动未解决问题下一步计划关键证据的引用位置。这相当于保存进程状态后重新启动避免无效历史不断堆积。2. 规划、生成与评估角色分离如果同一个 Agent 同时负责提出方案、执行方案和评价自己很容易出现自我确认偏差。角色分离可以形成更清晰的责任Planner把需求转化为规格、步骤和验收标准Generator根据规格执行任务并生成结果Evaluator基于测试、环境和外部规则判断结果是否合格。角色分离不一定要求三个不同模型也可以通过独立上下文、不同工具权限和明确的输入输出接口实现。关键是评估者不能只重复生成者的结论而应获得独立证据。3. 渐进式披露与其一次性把巨型文档塞入上下文不如先提供目录、摘要和索引在 Agent 确认需要时再加载具体章节。这种方式能够减少信息噪声降低上下文成本让当前步骤更聚焦更容易控制敏感信息降低过期文档影响。4. 环境化验证语言上的“看起来正确”不能代替真实验证。环境化验证要求 Agent 在目标环境或可信模拟环境中执行操作例如运行代码和自动化测试打开页面并检查视觉结果查询日志和指标在隔离环境中演练部署比较操作前后的数据验证用户能够真正完成目标流程。环境化验证把答案质量从主观判断转化为可观察证据。5. 将资深经验编码为规则资深工程师的价值往往存在于隐性经验中例如某类故障的判断顺序、某个模块的历史兼容限制、某种操作的回滚方式。Harness 可以把这些经验转化为可执行检查工具使用规范任务模板错误分类规则修复建议审批条件回归测试。需要注意的是规则必须有版本、所有者和更新机制。否则经验被编码后也可能逐渐过期。八、评估 Harness 的指标体系1. 任务结果指标任务成功率首次验收通过率需求偏离率人工返工率生产缺陷率。2. 稳定性指标相同任务多次运行的一致性长任务中断率工具调用失败率自动恢复成功率异常操作拦截率。3. 自主性指标无需人工介入的任务比例单任务平均人工介入次数因信息不足产生的暂停次数从目标到交付的自动闭环比例。4. 效率与成本指标单个成功任务的总成本平均完成时间无效工具调用次数无效重试次数上下文使用量人工节省时间。5. 安全与治理指标越权尝试次数高风险操作审批覆盖率敏感信息泄露事件审计记录完整率回滚成功率规则和知识的更新及时性。指标应以“成功交付”为分母。例如仅统计调用成本可能鼓励系统少调用必要工具却降低任务成功率更合理的是统计每个成功任务的成本。九、常见失败模式1. 把 Harness 等同于提示词模板问题优化了语言说明却没有工具、状态、验证和恢复机制。后果演示效果改善但复杂任务仍不稳定。2. 上下文越多越好问题把整个知识库或代码库直接塞给 Agent。后果信息冲突、重点稀释、成本上升模型更容易遗漏关键规则。3. 工具数量优先于工具质量问题接入大量功能重叠、参数混乱的工具。后果Agent 选择困难错误率上升审计和权限管理复杂。4. 依赖 Agent 自我评估问题Agent 生成结果后直接判断自己已完成任务。后果错误无法被独立发现形成虚假成功。5. 状态只保存在对话中问题进度、证据和决策全部依赖当前上下文。后果一旦上下文重置或服务中断任务无法可靠恢复。6. 无限制重试问题失败后反复调用同一个工具或重复同一方案。后果成本失控、重复写入甚至扩大故障。7. 为追求自动化而取消必要审批问题对生产写入、删除、外发和发布等操作也完全自动执行。后果小概率错误转化为不可接受的业务风险。8. 只优化平均效果问题只看大部分普通任务表现不处理低频高风险场景。后果整体成功率很高仍可能因一次严重错误造成重大损失。十、建设 Harness 的分阶段路线第一阶段单任务闭环先选择低风险、结果可验证的任务例如生成报告、代码检查、测试补充或内部资料整理。最低要求任务目标和验收标准清晰有限且可靠的工具全过程留痕输出可以自动或人工验证失败后安全停止。第二阶段标准化上下文与工具建立知识目录和检索机制区分组织规则、项目知识和任务状态统一工具输入输出建立权限分级对敏感数据进行脱敏和隔离。第三阶段引入状态与恢复将任务进度外部化设置检查点建立错误分类区分可重试与不可重试错误支持回滚和人工接管。第四阶段建立评估和观测体系建立离线评测集记录线上成功率和失败类型为关键任务加入独立验证监测成本、时延和人工介入对模型、提示、工具和规则变更进行回归评测。第五阶段规模化治理建立统一的风险分级明确各类操作的责任人与审批人维护组织级工具和规则平台建立事故复盘和规则更新机制持续比较不同模型和流程防止局部自动化带来系统性风险。十一、最小可用 Harness 清单一个可以开始投入真实任务的最小 Harness至少应具备明确的目标、范围和验收标准分层且可追溯的上下文少量稳定、结构化的工具隔离执行环境最小权限和高风险操作审批可恢复的任务状态外部验证机制有上限的重试日志、差异和结果证据失败后停止、回滚或人工接管的路径。如果缺少验证、权限或恢复能力即使 Agent 表现再聪明也不应直接承担高风险生产任务。十二、人与 Agent 的新分工随着 Harness 逐渐成熟工程师的角色会从直接执行大量细节转向设计 Agent 能够可靠工作的环境。人更适合负责定义业务目标和优先级处理模糊需求与价值冲突设计系统边界和风险政策建设工具、评估和恢复机制审批高风险操作处理无法规则化的异常对最终结果承担责任。Agent 更适合负责信息检索和初步分析明确流程下的重复操作代码生成、测试和批量修改持续运行检查汇总日志与证据根据清晰反馈进行迭代。工程师不是简单地“少写代码”而是更多地设计环境、规则、工具、反馈和责任边界。十三、关键结论1. 模型决定能力上限Harness 决定稳定下限更强的模型能够处理更复杂的问题但没有 Harness能力无法稳定转化为生产结果。好的 Harness 也不能让弱模型无限突破能力边界但可以减少大量由信息、流程、工具和验证不足造成的失败。2. Harness 包含 Prompt 和 Context提示词和上下文不是过时技术而是 Harness 的基础组成。Harness 在此基础上进一步加入执行、状态、评估、权限和恢复。3. 稳定性来自外部闭环生产级 Agent 的可靠性不应完全依赖模型“自觉做对”而应来自外部目标、事实、工具、验证和约束共同形成的闭环。4. 失败恢复与成功能力同样重要真实环境中工具会报错、数据会缺失、上下文会冲突。系统是否能够发现错误、限制影响、保存进度并恢复直接决定它是否可用。5. AI 落地的竞争正在转向工程系统当基础模型能力逐渐普及后团队之间的差距会更多体现在谁拥有更高质量的上下文、更可靠的工具、更严格的评估、更完善的安全边界以及更快的反馈改进循环。十四、总结Harness Engineering 关注的是 AI Agent 从“能思考”到“能稳定做事”的跨越。Prompt Engineering 让任务表达更清楚Context Engineering 让信息供给更准确而 Harness Engineering 把目标、信息、工具、流程、状态、验证、权限、观测和恢复连接成完整运行系统。其核心价值可以概括为不把生产可靠性寄托在模型每次都恰好做对而是通过工程化控制让正确行为更容易发生让错误更早暴露让风险受到限制并让失败之后能够恢复。因此Agent 真正落地的关键不只是继续寻找更强的模型还包括持续建设模型之外的系统。模型提供智能Harness 把智能转化为可重复、可验证、可治理的生产能力。