对齐训练风险：奖励黑客、过拟合与分布偏移

• 检查代理评分上升时真实质量是否同步改善，识别优化对评分漏洞的放大。
• 独立复核“长度代理可将低质量回答排到前面”的输入、计算和解释。
• 本例人为构造偏差，展示指标错位，不是任何真实模型的测量结果。

检查代理评分上升时真实质量是否同步改善，识别优化对评分漏洞的放大。

若评审器偏爱长回答，策略可以学会堆砌字数提高分数；若测试只检查表面格式，模型可能迎合格式却给出错误内容。对齐训练不是分数越高越可靠，优化压力会主动寻找评分器的盲点。

奖励错配是优化信号与真实目标不一致；奖励黑客指策略利用评分规则漏洞获得高分。偏好偏差、分布外评分、评审泄露与数据污染都会影响结论。对齐风险需要结合具体任务、反馈来源和部署权限分析。

把“回答越长越认真”作为考核指标，学生就可能只增加篇幅。指标与能力在普通样本上相关，一旦被直接优化，这种相关就可能被人为拆开。

奖励模型在训练偏好分布上有用，并不保证在优化后策略分布上可靠。应独立记录事实正确性、任务成功、格式、长度与代理分数，寻找“分数涨、任务降”的分离。

KL 约束可以减少偏离参考策略，但参考策略也会犯错；holdout 若与训练高度重复或被调参反复使用，同样不能提供独立证据。对抗样本应针对具体评分漏洞，不只是再抽一批相似题。

可验证奖励需要检查解析器、测试覆盖、工具调用和沙箱权限。策略执行真实动作时，训练期偏好优化不能替代权限控制与失败回退；越高代理分数并不意味着越高安全性。

长度代理可将低质量回答排到前面

已知条件

• 构造代理分数为正确性分数加 0.02×字数。
• 回答 A 正确性 0.9、长度 20；回答 B 正确性 0.4、长度 60。

计算步骤

1. A 的代理分数为 0.9+0.4=1.3。
2. B 的代理分数为 0.4+1.2=1.6。
3. 按代理选 B，却降低了独立正确性指标。

计算结果

代理选中 B：分数 1.6 更高，但正确性 0.4 低于 A 的 0.9。

处理前后对比

• 本例人为构造偏差，展示指标错位，不是任何真实模型的测量结果。
• 监测多维指标比只追一个奖励分数更容易发现错配。

1. 审计奖励与偏好
2. 监测 KL 和长度
3. 保留独立评测
4. 红队奖励漏洞
5. 人工复核

• 序贯决策
• 控制与资源分配

• 只报告奖励模型分数，忽略真实任务结果。
• 把参考策略 KL 小当作正确性或安全保证。
• 反复根据 holdout 修改训练，使独立评测变成调参数据。

本页数值均为解释机制的构造案例，不能解读为真实训练或基准性能。定义和适用条件参见 Gao 等：Scaling Laws for Reward Model Overoptimization。

失败模式

• 只报告奖励模型分数，忽略真实任务结果。
• 把参考策略 KL 小当作正确性或安全保证。
• 反复根据 holdout 修改训练，使独立评测变成调参数据。

风险

• 奖励函数与真实目标不一致会诱发奖励黑客。
• 部署策略的行动权限必须由环境和应用层约束。

性能考虑

• 样本效率、墙钟时间和显存占用需要分别报告。
• 应使用多个随机种子、置信区间和固定评测策略。

奖励提高但真实质量下降一定是恶意行为吗？

不一定。优化器可能只是在按给定目标寻找高分；首先应检查奖励定义、覆盖、评审偏差和数据边界，而不是从分数变化推断意图。

网页是否会训练模型？

不会。所有图表使用固定种子或解析公式在浏览器本地计算，不执行页面中的示例代码。