行为策略约束：在数据支持内改进

• 限制策略离开行为支持的程度，同时承认保守约束可能牺牲改进空间。
• 独立复核“指数倾斜后仍需检查实际 KL”的输入、计算和解释。
• 加权模仿与严格求解 KL 约束不是同一个验证结论。

限制策略离开行为支持的程度，同时承认保守约束可能牺牲改进空间。

固定日志里某状态几乎只执行过刹车，actor 却因为 Q 的高估想改成大油门。即使这次改动在网络上看起来最优，也缺乏验证它真实后果的数据。行为约束把策略改进限制在较有证据的区域。

行为策略约束用显式距离、生成候选或加权模仿，让学习策略靠近数据行为。KL 需要行为密度估计，BCQ 通过候选生成与小扰动约束动作，BEAR 用样本分布距离控制支持。约束价值的 CQL 与直接限制动作分布并不是同一种操作。

允许在已走过的道路附近寻找更快路线，而不因为地图空白处被画了高分就跳过去。路线范围越窄越可靠，却也可能保留原驾驶员的低效习惯。

加权行为克隆按优势提高优质数据动作的相对权重，仍只对数据动作拟合似然。有限数据下，连续策略的泛化可能产生两种示范之间实际没出现过的动作，不能将“只拟合数据”当作严格支持保证。

指数倾斜 π∝β exp(kA) 与固定 KL 半径的约束优化有联系，但给定一个温度 k 并不自动满足指定的 ε。需计算实际距离或求合适对偶参数，不能把任意归一化权重都称为已满足硬约束。

行为密度模型失准会影响约束可信度，特别是多峰动作被单 Gaussian 平均成不存在的中间动作。行为数据本身若含危险行动，靠近行为也不能替代独立安全检查。

指数倾斜后仍需检查实际 KL

已知条件

• 行为概率为 [0.9,0.1]，动作权重为 [1,9]。
• 将行为概率乘权重再归一化，使用自然对数。

计算步骤

1. 未归一化质量为 [0.9,0.9]，新策略为 [0.5,0.5]。
2. KL(π∥β)=0.5 ln(0.5/0.9)+0.5 ln(0.5/0.1)≈0.510826。
3. 若要求 KL≤0.1，该温度或权重并不合格。

计算结果

新策略为 [0.5,0.5]，实际 KL≈0.510826，不能声称满足 0.1 的半径。

处理前后对比

• 加权模仿与严格求解 KL 约束不是同一个验证结论。
• 数据未覆盖动作不能仅靠大优势权重产生可靠改进证据。

1. 训练 BC 并检查验证集负对数似然
2. 按状态生成行为支持内候选动作
3. 定义 KL、MMD、扰动半径或优势权重
4. 在约束内最大化 Q 或加权似然
5. 监测策略—行为距离和有效样本数
6. 对低支持状态回退到安全策略

• 序贯决策
• 控制与资源分配

• 指数加权后未计算 KL，就声称满足任意指定距离半径。
• 多峰行为被单峰策略平均成无数据支持的动作。
• 把行为支持内行动视为自动安全。

本页数值均为解释机制的构造案例，不能解读为真实训练或基准性能。定义和适用条件参见 Kumar 等：Stabilizing Off-Policy Q-Learning via Bootstrapping Error Reduction。

目标函数

在行为支持约束内最大化估计价值

Reference Policy

数据行为策略 β、其生成模型或数据动作本身

数据边界

• 若 β 未记录，只能从有限数据估计；低密度状态的约束可信度更低。
• 行为支持包含危险动作并不代表它们可部署，安全约束仍应独立执行。
• 过强约束退化为 BC，过弱约束重新暴露 OOD 价值误差。

• DQN 没有显式 actor，约束通常施加在 backup 的可选动作或 Q 上。
• SAC actor 可直接加 KL/BC 项，但固定数据下仅靠 entropy 不能防止 OOD。
• CQL 通过保守 Q 间接改变 actor；IQL 用数据动作的优势加权 BC 提取策略。

失败模式

• 行为模型 mode collapse 丢失合法动作模式
• 用单一 KL 阈值覆盖所有状态
• 指数优势权重溢出或有效样本数塌缩
• 把接近历史行为误当作安全证明

风险

• 历史行为可能违反新法规或权限边界。
• 部署必须保留拒绝、回退、人工审批与审计日志。

性能考虑

• 同时报告 return、策略—行为距离和权重有效样本数。
• 连续动作约束通常需要多次动作采样，计算成本随候选数增长。

约束越强是否越可靠？

更强约束通常减少分布外行动，也会保留行为策略缺点；行为密度估计错误和数据中的危险动作仍然存在，不能仅靠距离大小判断可部署性。

网页是否会训练模型？

不会。所有图表使用固定种子或解析公式在浏览器本地计算，不执行页面中的示例代码。