离线数据分布偏移与外推误差

• 从状态与动作覆盖分析离线策略为何会利用训练误差看不到的高估。
• 独立复核“未见动作的高 Q 怎样诱导错误贪心”的输入、计算和解释。
• 支持限制能防止本例显式选择未见动作。

从状态与动作覆盖分析离线策略为何会利用训练误差看不到的高估。

离线数据可能记录了数百万次平稳驾驶，却几乎没有急转弯。一个 Q 网络在这些记录上误差很小，仍可能给未执行的急转弯极高分；策略优化正会主动寻找这些高分，而不是按历史频率随机遇到它们。

离线分布偏移是目标策略与数据行为策略的状态动作访问分布不同。动作层面可能在已见状态选未见动作；状态层面则可能因前几步改变而进入全新区域。固定数据无法通过新试验直接验证这些选择。

历史地图上的空白处不能因为模型写了“距离很短”就变成可靠捷径。选择最高预测值的过程会偏向地图上最乐观、却可能最缺证据的地方。

Bellman 训练只直接约束数据中的动作。下一状态的 max 或 actor 却可能查询数据外动作，并把误差作为目标传回数据动作，使小训练残差与严重策略错误同时存在。

覆盖不是简单总样本数：需看条件动作频率、状态区域、轨迹连续性和终止标记。某动作在别的状态出现过，不能证明它在当前状态有足够证据；低概率覆盖也可能不足以估计罕见风险。

重要性比率要求目标访问分布被数据支持，并可能因长时序变得高方差。行为约束、CQL 与 IQL 各以不同方式减少无支持改进，但没有数据或额外结构假设，就不能比较任意未见动作的反事实收益。

未见动作的高 Q 怎样诱导错误贪心

已知条件

• 数据动作计数为 [4,2,0]。
• critic 估计为 [1.0,1.3,4.8]；动作 2 没有直接数据。

计算步骤

1. 无约束贪心选择动作 2，因为 4.8 最大。
2. 仅在观察支持内比较，会选择动作 1。
3. 支持筛选只避免本例缺失动作，不说明动作 1 的长期收益已可靠。

计算结果

普通贪心选动作 2，支持内贪心选动作 1；二者差异来自缺失证据。

处理前后对比

• 支持限制能防止本例显式选择未见动作。
• 神经网络部署还会遇到相近状态泛化与长期分布变化。

1. 确认数据收集策略与时间范围
2. 按终止、任务、状态簇和动作统计覆盖
3. 比较行为动作与候选策略动作
4. 检查 Q 在数据动作和候选动作上的间隙
5. 用 BC/DQN/SAC 基线定位外推故障
6. 采用约束、CQL 或 IQL 并做压力测试

• 序贯决策
• 控制与资源分配

• 只看全数据平均 TD loss，忽略策略查询动作。
• 把动作在任意位置出现过当作每个状态都覆盖。
• 把支持掩码当成真实价值或安全的证明。

本页数值均为解释机制的构造案例，不能解读为真实训练或基准性能。定义和适用条件参见 Levine 等：Offline Reinforcement Learning: Tutorial, Review, and Perspectives。

目标函数

识别并限制 d^π 相对 d^β 的不受支持偏移

数据边界

• 行为策略 β 可能未知、非平稳或由多策略混合。
• 覆盖统计只能证明看见过，不能证明奖励正确、长时序后果充分或部署安全。
• 离线调参若反复依据在线回报，会把评测环境变成隐式训练数据。

• DQN 的离散 max backup 明确枚举并偏好最高估动作。
• SAC 的 actor 在连续空间优化 Q−αlogπ，可能找到数据外的 critic 漏洞。
• CQL 压低广泛动作的 Q；IQL 避免对策略生成的新动作求 Q。

失败模式

• 把 replay buffer 大误当作覆盖充分
• 只看边际动作频率，忽略状态条件覆盖
• 终止/超时标记错误导致虚假 bootstrap
• 用训练集 Q 值代替策略价值评测

风险

• 历史日志可能含隐私、异常操作或已废止权限。
• 策略会利用日志中的奖励漏洞，数据清洗不能替代环境侧硬约束。

性能考虑

• 报告数据规模、轨迹数、行为策略混合和 return 分布。
• 按数据子集与随机种子报告不确定性；OOD 分数本身也需校准。

训练损失很低为什么策略仍会失败？

损失主要在数据分布上评价；优化策略查询的数据外动作和新状态可能完全没有被该损失有效约束，误差还会经 bootstrap 传播。

网页是否会训练模型？

不会。所有图表使用固定种子或解析公式在浏览器本地计算，不执行页面中的示例代码。