Reward Model、RLHF、RLAIF 与 RFT

• 区分反馈来源、评分模型与策略优化器，避免把 RLHF 等缩写当作单一更新公式。
• 独立复核“奖励分差如何变为偏好概率”的输入、计算和解释。
• 偏好分差有意义，奖励绝对零点通常不可辨识。

区分反馈来源、评分模型与策略优化器，避免把 RLHF 等缩写当作单一更新公式。

语言模型回答质量难以用唯一正确答案衡量，可以收集人类排序、AI 评审或可验证结果。这些反馈能训练评分器，也能直接进入某些优化目标；“谁打分”和“如何更新策略”是两条不同轴。

RLHF 使用人类反馈，RLAIF 使用 AI 反馈；二者描述反馈来源。奖励模型把输入与输出映射到学习评分，策略优化再利用评分改变输出分布。RFT 常用于指利用评分或可验证反馈进行强化微调，但不同论文或产品的具体接口需分别说明。

评委可以是人，也可以是另一套程序；评分卡是奖励模型，训练者如何根据评分改进表现则是优化器。更换评委不等于更换了训练算法。

偏好奖励模型常用 Bradley–Terry 形式，将优选与拒绝输出的分差经 sigmoid 变为偏好概率。它只约束相对差异，不能把奖励 4 解释成比奖励 2 “好两倍”的绝对效用。

学得奖励可能带有长度、格式和评审器偏好。策略主动优化后会改变输出分布，使奖励模型遇到训练时少见的内容；因此要留出独立评测，并比较代理分数与实际质量。

可验证评分如测试通过、数学答案匹配更容易自动获取，但检查器仍可能有漏洞。PPO 或 GRPO 可使用多种评分来源；DPO 则直接使用偏好对，不要求显式训练独立奖励模型。

奖励分差如何变为偏好概率

已知条件

• 同一问题的两个回答得分为 2 与 1。
• 采用 sigmoid(优选分数−拒绝分数)。

计算步骤

1. 分差为 1，偏好概率约 0.731059。
2. 给两个分数同时加 100，分差仍为 1。
3. 模型表达相对偏好，不能从共同偏移推断绝对质量。

计算结果

评分 [2,1] 与 [102,101] 都给出同样偏好概率 0.731059。

处理前后对比

• 偏好分差有意义，奖励绝对零点通常不可辨识。
• AI 反馈与人类反馈各有噪声和偏差，需要单独验证。

1. 收集/生成反馈
2. 训练或定义奖励
3. 策略采样
4. 评分
5. 策略更新
6. 评测奖励黑客

• 序贯决策
• 控制与资源分配

• 把 RLHF、RLAIF 当成互斥的策略优化算法名称。
• 将奖励模型分数当作校准后的绝对真实质量。
• 训练只提高评审分数，却没有独立任务效果检查。

本页数值均为解释机制的构造案例，不能解读为真实训练或基准性能。定义和适用条件参见 Ouyang 等：Training language models to follow instructions with human feedback。

失败模式

• 把 RLHF、RLAIF 当成互斥的策略优化算法名称。
• 将奖励模型分数当作校准后的绝对真实质量。
• 训练只提高评审分数，却没有独立任务效果检查。

风险

• 奖励函数与真实目标不一致会诱发奖励黑客。
• 部署策略的行动权限必须由环境和应用层约束。

性能考虑

• 样本效率、墙钟时间和显存占用需要分别报告。
• 应使用多个随机种子、置信区间和固定评测策略。

有可验证奖励还需要奖励模型吗？

不一定。能直接计算可靠评分时，可直接供给优化器；但验证规则的覆盖与漏洞仍需检查，不能等同于真实目标已经完整定义。

网页是否会训练模型？

不会。所有图表使用固定种子或解析公式在浏览器本地计算，不执行页面中的示例代码。