Agent 评估

• 能说明Agent 评估解决什么问题，以及何时适用。
• 能解释为什么“只看主观好不好”是误区。

Agent 可能答复清楚却没有完成任务，也可能完成了动作但越过权限。单独给最终文字打分看不到这些差异，需要把验收落到外部结果、约束与过程证据上。

评测集应代表真实使用中的任务类型，而不是只收集容易演示的成功案例。提前定义通过条件，才能比较模型、指令或工具版本变化是否真的改善系统。

Agent 评估用代表性任务集和可检查标准衡量端到端系统，而不只评价单次语言输出。

不仅看项目交付物，还检查过程是否合规、证据是否真实、成本是否可接受。

任务级指标检查最终目标，例如预约是否真实存在、字段是否正确且没有重复创建。步骤级指标帮助定位问题，例如选错工具、参数无效、证据未覆盖或审批缺失；它们不能代替最终验收。

测试任务要覆盖普通路径、信息不足、工具失败、权限拒绝与恶意内容。不同任务可以有不同合格答案，应检查结果约束而不是只与一段参考文字逐字匹配。

对主观质量可以使用评分规则、人类评审或模型辅助评分，但评分器本身要校准。确定性事实尽量直接查数据库或执行断言；评判模型的高分不应覆盖已经发生的安全违规。

比较版本时固定任务、环境和判定规则，记录运行条件与重复次数。随机输出会带来波动，应保留逐任务轨迹并按失败类型分组；反复用同一评测集调参还会产生过拟合，需要保留独立任务检查泛化。

1. 定义任务与评分规则
2. 保存基线轨迹
3. 运行代表性评测集
4. 分析失败步骤
5. 修改后回归

• 发布门槛
• 回归测试

• 只打最终回答的语言分，忽略真实状态、权限与副作用。
• 将评测答案或固定任务泄露进训练、提示词和记忆，却仍声称是独立验证。
• 变更评分标准后直接比较历史总分，或只报告总体成功率而隐藏关键失败类别。

输入

• 任务集
• 期望结果
• 轨迹

输出

• 成功率、错误分类、成本与延迟

能力

• 发布门槛
• 回归测试