Agent 可靠性与可观测性

• 能说明Agent 可靠性与可观测性解决什么问题，以及何时适用。
• 能解释为什么“只测顺利路径”是误区。

模型回答、工具调用、网络传输和结果验收都可能出错。一个步骤看起来很准确，并不能保证串起来的任务也稳定完成；更长的链还可能引入重复执行和状态不一致。

可靠性需要明确“什么算完成、在什么条件下完成、失败后怎样停”。可观测性提供定位证据，恢复机制处理异常，评测则检查这些机制是否按预期生效。

可靠性是系统在正常与异常条件下持续满足明确验收标准，并能解释和恢复失败的能力。

可靠系统不只“通常能做”，还知道什么时候不能做、失败在哪里以及如何安全重试。

输入输出契约应覆盖结构与业务含义。金额字段可解析只是第一步，还要检查币种、范围、来源与版本；工具成功返回也必须与用户目标的验收条件再次对齐。

端到端通过率要从同一批任务统计。下方条件概率链式法则不假设各步骤独立：后续成功率是在前面已达标的任务中计算的。共享的数据错误或服务故障会造成相关失败，不能随意把不同实验的局部准确率相乘。

运行限制把失败范围控制住：设置工具超时、轮次与成本上限，对写操作支持幂等与状态查询，对不可确认结果保留未知状态。重试可能提高恢复机会，也会增加延迟和副作用风险，必须有适用条件。

离线故障注入、线上追踪和回归任务构成改进闭环。要同时观察完成率、违规情况、恢复率与耗时；单纯让系统更保守可能减少错误却无法完成任务，因此需要按业务约束评估取舍。

从同一批任务统计端到端通过率

已知条件

• 以下数字仅为教学假设，不是实测数据。
• 1000 个任务中，950 个规划达标；其中 855 个执行达标；最后 838 个通过验收。

计算步骤

1. 规划达标比例为 950 / 1000。
2. 在规划达标的任务中，执行达标比例为 855 / 950。
3. 在前两步都达标的任务中，验收达标比例为 838 / 855。
4. 三者相乘，得到 838 / 1000 = 83.8%。

计算结果

这批假设任务的联合通过率为 83.8%，不需要假设三个环节相互独立。

处理前后对比

• 不能直接相乘三个来自不同样本的总体通过率。
• 线上评估还应按任务类型和失败原因分组，检查验收标准是否可靠。

1. 定义 SLO 与验收集
2. 为工具添加超时和幂等
3. 记录完整轨迹
4. 注入故障测试
5. 分析并回归

• 生产 Agent

• 只测试顺利路径，无法知道超时、重复事件和部分完成时的真实行为。
• 相乘不同任务集的局部分数，或把条件成功率当作无条件成功率。
• 为提高完成率去掉权限和验收，或把重试次数提高当成通用可靠性方案。

输入

• 评测任务
• 运行轨迹
• 故障事件

输出

• 成功率、恢复率、延迟与错误预算

能力

• 生产 Agent