一份语言流畅的简历评审报告，未必真正发现了问题。评估这类 Agent，首先要回答两件事：它是否识别了有依据的问题，以及它的评分是否符合明确的评审量表。

本文围绕问题召回率与评分误差设计评估流程，并补充误报、稳定性和证据检查。评估对象是简历材料及建议质量，不能把材料评分等同于人的实际能力，也不能仅凭自动分数决定招聘结果。

让专家标注成为可讨论的基准

样本应覆盖不同岗位、经验范围、文件格式和表达方式。可以先规划 100～500 份经授权、去标识化的材料，再根据任务差异调整规模；公开可见不等于可以不受限制地使用。

每份材料由至少两名评审者依据同一量表独立标注，记录分歧与仲裁。除了综合分，还应保存问题类型、严重程度和原文位置，避免只留下“表达不好”这样的模糊标签。

{
  "resume_id": "sample-001",
  "rubric_version": "v1",
  "expert_score": 82,
  "expert_issues": [
    {
      "issue_id": "issue-01",
      "type": "responsibility_unclear",
      "evidence": "项目经历中未区分个人职责与团队成果",
      "location": "项目经历第 2 段",
      "severity": "medium"
    }
  ]
}

问题召回率：分子只能是匹配的问题

问题召回率等于“模型识别且与专家标注匹配的问题数”，除以专家标注问题总数。不能直接用模型输出条数作分子，否则模型只要不断增加建议，就可能获得超过 100% 的错误结果。

Issue Recall = 匹配的专家问题数 / 专家问题总数

假设专家标注了 5 个问题，模型提出 6 条诊断，其中 4 条分别对应 4 个专家问题，则召回率为 4/5，即 80%。如果剩余 2 条经人工复核都不成立，精确率为 4/6，约 66.7%。该算例说明：召回高，并不意味着误报少。

模型发现了专家遗漏但确实存在的问题时，应进入仲裁，不能机械地视为误报。基准修订要产生新版本，并在同一版本上重算对比结果。

语义匹配必须有边界

“个人职责表达不清”和“没有说明自己负责哪一部分”可以视为同一问题；“建议增加指标”却不能自动匹配所有与项目成果有关的缺陷。匹配应结合原文位置与实际含义，必要时将复合问题拆成原子问题，并执行一对一匹配。

可先用人工建立一批匹配样本，再用模型裁判辅助扩大规模。裁判应返回成对的 issue_id、匹配理由及证据位置，并将不确定项交给人工复核。重复建议必须去重，同一问题不能反复得分。

对专家未标注问题的样本，召回率分母为零，应标记为不适用并单独检查误报。汇总时同时报告宏平均、微平均及无问题样本数量，避免总体分数掩盖差异。

评分 MAE：衡量与量表基准的差距

固定评分尺度和各维度权重后，对每份材料计算模型分数与专家分数的绝对差，再求平均。除了总体 MAE，还应检查各维度误差以及给分偏高、偏低的方向。

在这个 100 分制示例中，MAE = (4 + 3 + 2) / 3 = 3 分。这只说明三个示例的平均误差，不能推出系统“接近专家”或已经达到生产要求。指标定义可参见 scikit-learn 指标文档。

补充稳定性与等价改写测试

同一份简历重复评审时，分数和诊断可能波动。应在固定模型与参数下重复运行，记录均值、标准差、极差，以及高优先级问题是否稳定出现。对内容等价但排版或措辞不同的材料，也应检查评估是否产生不合理变化。

稳定性不能替代准确性：一个系统可能每次都稳定地给出错误判断。等价改写测试也应只改变预定变量，不能一边删减内容，一边将分差归因于模型不稳定。

建议本身也需要证据

“补充量化结果”只有在该经历确实适合量化且本人拥有证据时才有价值。不能鼓励用户编造 QPS、营收或准确率。更可靠的建议是指出缺失的信息类型，并允许用户明确填写未知或无法公开。

每条诊断应能够回到原文位置；每条改写建议应区分已有事实与待用户补充的信息。姓名、照片和无关身份信息不应成为材料质量分的隐性依据。

把评估报告写成可复查的结果

报告至少包含数据集与量表版本、有效与失败样本数、问题召回与精确率、评分 MAE、稳定性结果及人工复核比例。再按问题类型列出漏报与误报案例，将改进方向落到解析、诊断、证据对齐或评分规则上。

少量核心指标能让评估容易启动；只有连同误报、证据与人工判断一起分析，分数才真正有解释力。