强化学习挑战文档深度页

DPO：Direct Preference Optimization

直接用 chosen/rejected 偏好对优化策略相对 reference 的概率差，不运行传统在线 RL 循环。

学习目标

定义DPO：Direct Preference Optimization并复述输入输出。
从公式计算一个最小数值例子。
说明它与相邻算法的区别、失败模式和适用场景。

为什么重要

DPO：Direct Preference Optimization位于“状态—行动—反馈—更新”学习链中的关键位置。

掌握它能帮助学习者判断算法使用的数据、策略归属和稳定性边界。

学习前需要掌握

分类概率与决策阈值Python 与 NumPy内容待补充

背景与问题

强化学习面对序贯决策：动作会改变之后能看到的状态和奖励，因此样本通常并非独立同分布。

同一算法的效果取决于环境、探索策略、函数近似、随机种子和评测协议，单次曲线不足以下结论。

概念定义

DPO 将带 KL 约束的 RLHF 最优策略关系转写为二分类式偏好目标。

本页使用“问题定义—数学目标—更新过程—代码—失败诊断”的顺序组织，避免只记算法缩写。

直观理解

让策略相对参考模型更偏向 chosen、远离 rejected，而不是先训练显式 Reward Model 再在线采样优化。

把价值看作“未来累计收益的估计”，把策略看作“在状态下如何选动作的规则”；算法差异主要在估计谁、使用谁生成的数据以及如何更新。

核心原理

输入是离线 preference pairs。

不需要显式训练独立 Reward Model。

训练时不需要传统在线环境采样循环。

DPO 不应简单描述为标准 MDP 在线 RL 算法。

数学表达

DPO loss

L_{D P O} = - E_{(x, y_{w}, y_{l})} lo g σ (β [lo g \frac{π _{θ} ( y _{w} ∣ x )}{π _{r e f} ( y _{w} ∣ x )} - lo g \frac{π _{θ} ( y _{l} ∣ x )}{π _{r e f} ( y _{l} ∣ x )}])

提高 chosen 相对 reference 的优势，并降低 rejected。

变量含义

y_wchosen response。
y_lrejected response。
π_ref冻结参考策略。
β偏好间隔缩放/隐含 KL 强度相关参数。

计算步骤

1计算 bootstrap 目标：1+0.9×2=2.8。
2目标与当前估计差为 2.8−0.5=2.3。
3若学习率 α=0.1，新估计为 0.5+0.1×2.3=0.73。

代码对应位置

示例 1DPO loss：chosen / rejected 与 reference 的对数概率差：根据 DPO 原论文目标计算一个偏好对损失，不训练 Reward Model、不采样在线轨迹。

变量解释

变量	含义
`y_w`	chosen response。
`y_l`	rejected response。
`π_ref`	冻结参考策略。
`β`	偏好间隔缩放/隐含 KL 强度相关参数。

完整数值示例

DPO：Direct Preference Optimization的最小计算

已知条件

即时奖励为 1
下一状态估计为 2
折扣因子 γ=0.9
当前估计为 0.5

1
计算 bootstrap 目标：1+0.9×2=2.8。
2
目标与当前估计差为 2.8−0.5=2.3。
3
若学习率 α=0.1，新估计为 0.5+0.1×2.3=0.73。

一次更新后估计从 0.5 变为 0.73；是否收敛需要持续采样与满足相应条件。

处理前后对比

较大 α 更新快但噪声和震荡更强。
较大 γ 更重视远期奖励，但误差传播范围更长。
使用真实回报与 bootstrap 目标会带来不同偏差—方差权衡。

计算与实现步骤

1
准备 prompt/chosen/rejected
2
计算 policy 序列 log-prob
3
计算 reference log-prob
4
构造相对 margin
5
log-sigmoid loss
6
离线优化并评测

代码实现

示例 1

DPO loss：chosen / rejected 与 reference 的对数概率差

DPO loss：chosen / rejected 与 reference 的对数概率差

PyTorchexample_01.py

用途：根据 DPO 原论文目标计算一个偏好对损失，不训练 Reward Model、不采样在线轨迹。

1import torch
2import torch.nn.functional as F
3
4beta = 0.1
5policy_chosen = torch.tensor([-1.2, -0.8], requires_grad=True)
6policy_rejected = torch.tensor([-2.0, -1.1], requires_grad=True)
7reference_chosen = torch.tensor([-1.4, -0.9])
8reference_rejected = torch.tensor([-1.8, -1.0])
9
10policy_margin = policy_chosen - policy_rejected
11reference_margin = reference_chosen - reference_rejected
12logits = beta * (policy_margin - reference_margin)
13loss = -F.logsigmoid(logits).mean()
14loss.backward()
15print('preference logits:', logits.detach())
16print('DPO loss:', round(loss.item(), 4))

代码解析

解析始终位于完整代码下方，并按实际代码段逐项对应。

输入数据与任务

根据 DPO 原论文目标计算一个偏好对损失，不训练 Reward Model、不采样在线轨迹。

mean: 训练特征逐列均值。
loss: 当前预测与目标之间的损失值。

Step 1 · 1–2 行

导入当前步骤需要的数值计算、预处理、模型或评价工具。依赖集中写在代码开头，便于复现。

import torch
import torch.nn.functional as F

Step 2 · 4–8 行

策略偏好 margin 与 reference margin 的差经 beta 缩放。

beta = 0.1
policy_chosen = torch.tensor([-1.2, -0.8], requires_grad=True)
policy_rejected = torch.tensor([-2.0, -1.1], requires_grad=True)
reference_chosen = torch.tensor([-1.4, -0.9])
reference_rejected = torch.tensor([-1.8, -1.0])

Step 3 · 10–16 行

只从训练数据逐列计算均值与标准差，对应标准化公式中的 μ 和 σ。

policy_margin = policy_chosen - policy_rejected
reference_margin = reference_chosen - reference_rejected
logits = beta * (policy_margin - reference_margin)
loss = -F.logsigmoid(logits).mean()
loss.backward()
print('preference logits:', logits.detach())
print('DPO loss:', round(loss.item(), 4))

代码与数学原理

z = \frac{x - μ}{σ}

减去训练均值并除以训练标准差，对应代码中的 mean/std 或 StandardScaler。

J = \frac{1}{n} \sum_{i} (y_{i} - y^_{i})^{2}

平方误差代码对应均方损失。

预期输出或运行结果

打印两个 preference logits 和一个有限正 DPO loss。

常见错误 · 4 条

不要在测试集上调用 fit 或 fit_transform；测试集只能复用训练参数。
只报告最好的一次随机种子
训练回报与评测回报混用
终止状态仍错误 bootstrap

实际应用

序贯决策
控制与资源分配

常见错误

只报告最好的一次随机种子

训练回报与评测回报混用

终止状态仍错误 bootstrap

文档来源

强化学习可靠资料扩展资料

外部原始教材或论文

DPO 原论文 / §4 Direct Preference Optimization
DPO 原论文 / Eq. 7

扩展内容说明

未找到可直接映射的本地强化学习文档；中文直觉、数值例子、代码和交互演示属于扩展解释，算法定义与公式以所列教材或原论文为依据。

算法属性与数据边界

算法类别Offline preference optimization objective

策略归属基础/离线目标

动作空间文本响应序列

环境模型model-free

目标函数: 二分类式 DPO loss
Reference Policy: 冻结 reference model
Reward Model: 不显式训练独立 Reward Model
Preference Data: prompt + chosen + rejected 离线偏好对
KL 约束: 通过相对 reference 的目标隐式体现

与 DQN、SAC 及相邻方法对照

对照要点

不是传统在线 MDP RL
无需 rollout/replay buffer
高度依赖偏好数据覆盖与质量

失败模式、风险与性能

失败模式

探索不足
目标漂移
函数近似不稳定

目标与安全风险

奖励函数与真实目标不一致会诱发奖励黑客。
部署策略的行动权限必须由环境和应用层约束。

性能与复现

样本效率、墙钟时间和显存占用需要分别报告。
应使用多个随机种子、置信区间和固定评测策略。

常见问题

DPO：Direct Preference Optimization是 on-policy 还是 off-policy？

这是基础或比较概念，具体归属取决于所讨论算法。

网页是否会训练模型？

不会。所有图表使用固定种子或解析公式在浏览器本地计算，不执行页面中的示例代码。

资料来源与核对日期

核对日期：2026-08-30。算法定义与公式依据以下外部教材或原论文；中文直觉、教学代码、对照与部署建议属于本站扩展解释。

https://arxiv.org/abs/2305.18290

Direct Preference Optimization

把带参考策略约束的偏好优化转写为直接训练 chosen/rejected 概率差的目标。

挑战英语免费

Rafailov et al. · arXiv / NeurIPS

DPO：Direct Preference Optimization Reward Model、RLHF、RLAIF 与 RFT

资料笔记

打开网址

查看资料参考库

变量

含义

y_w

chosen response。

y_l

rejected response。

π_ref

冻结参考策略。

β

偏好间隔缩放/隐含 KL 强度相关参数。

1import torch 2import torch.nn.functional as F 3 4beta = 0.1 5policy_chosen = torch.tensor([-1.2, -0.8], requires_grad=True) 6policy_rejected = torch.tensor([-2.0, -1.1], requires_grad=True) 7reference_chosen = torch.tensor([-1.4, -0.9]) 8reference_rejected = torch.tensor([-1.8, -1.0]) 9 10policy_margin = policy_chosen - policy_rejected 11reference_margin = reference_chosen - reference_rejected 12logits = beta * (policy_margin - reference_margin) 13loss = -F.logsigmoid(logits).mean() 14loss.backward() 15print('preference logits:', logits.detach()) 16print('DPO loss:', round(loss.item(), 4))

beta = 0.1 policy_chosen = torch.tensor([-1.2, -0.8], requires_grad=True) policy_rejected = torch.tensor([-2.0, -1.1], requires_grad=True) reference_chosen = torch.tensor([-1.4, -0.9]) reference_rejected = torch.tensor([-1.8, -1.0])

policy_margin = policy_chosen - policy_rejected reference_margin = reference_chosen - reference_rejected logits = beta * (policy_margin - reference_margin) loss = -F.logsigmoid(logits).mean() loss.backward() print('preference logits:', logits.detach()) print('DPO loss:', round(loss.item(), 4))

学习目标

为什么重要

学习前需要掌握

背景与问题

概念定义

直观理解

核心原理

数学表达

DPO loss

变量含义

计算步骤

代码对应位置

变量解释

完整数值示例

DPO：Direct Preference Optimization的最小计算

已知条件

处理前后对比

计算与实现步骤

代码实现

DPO loss：chosen / rejected 与 reference 的对数概率差

代码解析

输入数据与任务

Step 1 · 1–2 行

Step 2 · 4–8 行

Step 3 · 10–16 行

代码与数学原理

预期输出或运行结果

常见错误 · 4 条

实际应用

常见错误

与其他概念的关系

文档来源

扩展内容说明

算法属性与数据边界

与 DQN、SAC 及相邻方法对照

对照要点

失败模式、风险与性能

失败模式

目标与安全风险

性能与复现

常见问题

DPO：Direct Preference Optimization是 on-policy 还是 off-policy？

网页是否会训练模型？

资料来源与核对日期

推荐学习资料

Direct Preference Optimization

学习目标

为什么重要

学习前需要掌握

背景与问题

概念定义

直观理解

核心原理

数学表达

DPO loss

变量含义

计算步骤

代码对应位置

变量解释

完整数值示例

DPO：Direct Preference Optimization的最小计算

已知条件

处理前后对比

计算与实现步骤

代码实现

DPO loss：chosen / rejected 与 reference 的对数概率差

代码解析

输入数据与任务

Step 1 · 1–2 行

Step 2 · 4–8 行

Step 3 · 10–16 行

代码与数学原理

预期输出或运行结果

常见错误 · 4 条

实际应用

常见错误

与其他概念的关系

文档来源

扩展内容说明

算法属性与数据边界