输出质量回答“结果好不好”，系统健康度回答“服务是否稳定、及时且成本可控”。这两类评估应一起运行：正确但经常超时的服务难以使用，响应很快却频繁降级的服务也不能仅凭延迟达标就判定健康。先定义请求成功，再计算延迟普通 HTTP 请求不能只看状态码；流式响应还需要检查协议是否正常结束、是否返回错误事件、最终结果是否符合约定。列表查询成功也不代表生成、检索…

多轮面试 Agent 的评估，不能只检查最后有没有生成报告。一次面试看似顺利结束，过程中仍可能跳过关键阶段、反复提问，或在报告里引用从未发生过的表现。因此，需要同时评估执行过程和最终产物：流程检查负责发现状态与工具层面的故障，报告评审负责检查结论是否有依据、建议是否可执行。把流程要求写成可验证的规则以“热身—技术基础—项目追问—反问收尾—结束”的五…

复杂任务的第一步，是确定交付结果和执行约束。只有这些条件明确以后，才有依据选择顺序、分支、并行或动态规划。以“比较RAG与记忆”为例，系统需要选择必要的资料类别，取得结果并生成可检查的对比，而不是不断增加调用次数。 目标、状态、执行边界和验收标准 项目 定义 目标 针对问题选择必要的资料任务，生成带任务ID的结果汇总。 状态 goal保存需求；pl…

模型能够生成回答，但任务往往需要外部资料和实际操作。知识与工具流程应明确区分提出请求、执行请求和确认结果。以回答RAG的基本流程为例，系统先取得资料，保留证据ID，再生成答案；没有资料时应明确停止。 目标、状态、执行边界和验收标准 项目 定义 目标 回答问题，并返回实际取得的证据ID。 状态 messages记录模型与工具交互；seen记录已取得的…

多步任务不能只靠下一次提示记住上一轮发生的事情。系统需要明确哪些数据属于当前任务，哪些数据可以跨会话保留，以及多个处理角色如何交换结果。以记忆方案咨询为例，一个角色解释保存方式，另一个角色检查数据丢失风险，最终形成统一答复。 目标、状态、执行边界和验收标准 项目 定义 目标 根据用户偏好整合知识与风险两类结果，同一会话保留历史，新会话保留用户级偏好…

生成结果以后，系统需要知道哪里出了问题，以及修改是否真的改善了结果。反馈流程应围绕具体标准推进，并限制修订次数。以解释RAG为例，第一版可能缺少证据ID，检查阶段指出问题，第二版补齐，再把这次失败类型保存为后续任务的策略提示。 目标、状态、执行边界和验收标准 项目 定义 目标 生成具备有效证据ID的答复，在有限修订内达到结构要求。 状态 strat…

带有外部影响的任务需要明确的执行边界。收到批准、提交操作和确认操作完成，是不同阶段。以写入一条模拟台账为例，系统先校验参数，再暂停等待人工处理，然后有限重试，并检查台账实际状态。 目标、状态、执行边界和验收标准 项目 定义 目标 在人工批准具体版本后，为指定task_id写入一条模拟台账记录。 状态 task_id标识业务操作；amount保存操作…

优化流程之前，需要先定义质量要求、成本口径和延迟口径。缓存、模型分流和失败回退都可能改善某项指标，也可能带来新的问题。以知识问答为例，系统先检查可复用结果，再根据复杂度与预算选择执行路径，并记录每次运行的状态和消耗。 目标、状态、执行边界和验收标准 项目 定义 目标 在逻辑预算内返回答复，记录成功状态、调用次数、路径和延迟。 状态 budget限定…

模式组合需要统一的目标、状态和验收逻辑。研究助手可以把需求校验、计划、检索、写作、检查和人工验收串成一个流程。以比较RAG与长期记忆为例，系统取得两份资料，生成答复，验证证据关系，并在人工批准具体版本后交付。 目标、状态、执行边界和验收标准 项目 定义 目标 生成基于两份给定资料的对比答复，并在人工验收后返回最终成果。 状态 goal保存需求；pl…

一份语言流畅的简历评审报告，未必真正发现了问题。评估这类 Agent，首先要回答两件事：它是否识别了有依据的问题，以及它的评分是否符合明确的评审量表。本文围绕问题召回率与评分误差设计评估流程，并补充误报、稳定性和证据检查。评估对象是简历材料及建议质量，不能把材料评分等同于人的实际能力，也不能仅凭自动分数决定招聘结果。让专家标注成为可讨论的基准样本应…