Double DQN

• 在 DQN 中区分下一动作的选择网络与评价网络。
• 独立复核“在线网络选出的动作未必是目标网络最大动作”的输入、计算和解释。
• 选择与评价分离是算法差异的关键。

在 DQN 中区分下一动作的选择网络与评价网络。

DQN 的目标网络虽降低了漂移，却仍用同一个含噪声向量选最大动作并给它评分。Double DQN 将这两件事分开，使最大值目标不再完全依赖同一份估计噪声。

Double DQN 用在线网络在下一状态选择 argmax 动作，再查询目标网络该动作的价值。当前状态的 Q(s,a) 仍由在线网络拟合。它保留 DQN 的 replay、目标同步和离散动作结构，并非维护两套完全独立表格轮流更新。

在线网络负责提名，延迟网络负责打分。候选有可能不是延迟网络最喜欢的动作，这正是它与普通 DQN 目标的区别。

目标计算顺序是 online(next_state).argmax，再在 target(next_state) 上 gather 同一动作。若直接对 target 输出取 max，得到的还是普通 DQN 目标；若只对两个 max 取最小，也不是 Double DQN。

两个网络之间通常相关，因为目标网络来自在线网络复制。该方法能缓解过估计，但不能宣称所有噪声偏差已消失，也不能取代探索或覆盖。

真正终止时只保留奖励，下一动作选择结果不应进入目标。目标网络刚同步时两网输出相同，这时 Double DQN 与 DQN 的同批目标可能相同，不说明实现无效。

在线网络选出的动作未必是目标网络最大动作

已知条件

• 在线后继 Q 为 5、4；目标网络为 1、3。
• 奖励 1，折扣 0.9，转移非终止。

计算步骤

1. 在线网络选动作 0。
2. 目标网络评价该动作得 1，Double DQN 目标为 1.9。
3. 普通 DQN 取目标网络最大值 3，目标为 3.7。

计算结果

同一后继状态，Double DQN 目标为 1.900，普通 DQN 为 3.700。

处理前后对比

• 选择与评价分离是算法差异的关键。
• 更低目标不自动代表更接近真实值，需要环境证据判断。

1. Online 对 s′ argmax
2. Target 取对应 Q
3. 构造 target
4. 更新 Online

• 序贯决策
• 控制与资源分配

• argmax 在目标网络上计算，退回普通 DQN。
• 把两网最大值的最小值误称为 Double DQN。
• 认为用两个相关网络就能消除所有估计偏差。

本页数值均为解释机制的构造案例，不能解读为真实训练或基准性能。定义和适用条件参见 van Hasselt 等：Deep Reinforcement Learning with Double Q-learning。

失败模式

• argmax 在目标网络上计算，退回普通 DQN。
• 把两网最大值的最小值误称为 Double DQN。
• 认为用两个相关网络就能消除所有估计偏差。

风险

• 奖励函数与真实目标不一致会诱发奖励黑客。
• 部署策略的行动权限必须由环境和应用层约束。

性能考虑

• 样本效率、墙钟时间和显存占用需要分别报告。
• 应使用多个随机种子、置信区间和固定评测策略。

Double DQN 是 on-policy 吗？

通常仍是 off-policy：行为可用 ε-greedy 生成数据，学习目标由在线 argmax 与目标网络构造，不要求它们等于实际下一行为动作。

网页是否会训练模型？

不会。所有图表使用固定种子或解析公式在浏览器本地计算，不执行页面中的示例代码。