Rainbow DQN

• 理解多项 DQN 改进如何组合，并以消融区分收益来源。
• 独立复核“三步目标比一步目标多使用哪些证据”的输入、计算和解释。
• 多步目标只是 Rainbow 的一个部件，不等于完整实现。

理解多项 DQN 改进如何组合，并以消融区分收益来源。

DQN 的问题并不只有一种：目标可能过估计、样本复用效率不高、探索不足，回报分布也可能被一个均值压缩。Rainbow 把针对不同问题的部件组合起来，但组件越多，复现与归因越困难。

原始 Rainbow 组合 Double Q-learning、优先经验回放、dueling 网络、多步学习、分布式价值学习和 NoisyNet。这里“分布式价值”指学习回报分布，不是多机器训练。它属于离散动作深度价值方法的组合方案。

一辆车同时改了轮胎、制动和悬架，成绩变化不能只归功于某一项。需要固定其他条件逐项关闭部件，才能知道哪一项在当前赛道发挥作用。

多步目标先累计若干步真实奖励，再由末端价值 bootstrap，能缩短信息传播链。分布式头预测离散支持上的回报概率，训练时需把移动后的支持投影回固定网格，不能只套普通标量均方误差。

Double 目标处理选择评价耦合，dueling 改善表示共享，PER 改变采样，NoisyNet 用可学习参数噪声支持探索。它们作用层次不同，也会相互影响，不能把所有机制归为“更大的网络”。

消融要对齐交互步数、网络规模、训练更新比和评测协议。原论文基准成绩不能直接当作当前环境的预期提升，更不能从一个简化多步算术示例推断完整 Rainbow 性能。

三步目标比一步目标多使用哪些证据

已知条件

• 三步真实奖励为 1、0、2，折扣 0.9。
• 第三步后非终止，bootstrap 值为 4。

计算步骤

1. 真实三步部分为 1+0.9×0+0.9²×2=2.62。
2. 末端估计折扣为 0.9³×4=2.916。
3. 总目标为 5.536；若第三步真正终止，目标只剩 2.62。

计算结果

三步非终止目标为 5.536，终止目标为 2.620。

处理前后对比

• 多步目标只是 Rainbow 的一个部件，不等于完整实现。
• 增加真实奖励步数也会引入更长轨迹的方差和 off-policy 问题。

1. 构建组合网络
2. 分布式 target
3. 优先 replay
4. 多步更新
5. noisy exploration

• 序贯决策
• 控制与资源分配

• 把回报分布学习误写成并行计算。
• 只添加两个组件却未经说明称完整原始 Rainbow。
• 在不同预算与配置下比较消融，无法归因。

本页数值均为解释机制的构造案例，不能解读为真实训练或基准性能。定义和适用条件参见 Hessel 等：Rainbow: Combining Improvements in Deep Reinforcement Learning。

失败模式

• 把回报分布学习误写成并行计算。
• 只添加两个组件却未经说明称完整原始 Rainbow。
• 在不同预算与配置下比较消融，无法归因。

风险

• 奖励函数与真实目标不一致会诱发奖励黑客。
• 部署策略的行动权限必须由环境和应用层约束。

性能考虑

• 样本效率、墙钟时间和显存占用需要分别报告。
• 应使用多个随机种子、置信区间和固定评测策略。

Rainbow 是哪一个单独的新更新公式？

它主要是一组互补改进的集成，涉及目标、网络、采样和探索多个层面；理解各组件与组合消融比背一个缩写更有用。

网页是否会训练模型？

不会。所有图表使用固定种子或解析公式在浏览器本地计算，不执行页面中的示例代码。