Imitation Learning 与 Inverse RL

• 区分模仿动作与推断奖励，并认识状态偏移和奖励不可辨识。
• 独立复核“同一最优动作可以由不同奖励解释”的输入、计算和解释。
• 行为克隆直接拟合动作，不要求唯一恢复奖励。

区分模仿动作与推断奖励，并认识状态偏移和奖励不可辨识。

专家驾驶记录可以直接教网络在给定图像下输出方向盘角度，也可以用于推断专家重视的行驶目标。前者容易实现，后者更接近解释动机，但仅凭行为通常无法唯一确定真实奖励。

行为克隆用专家状态动作做监督学习，拟合专家策略。逆强化学习从示范行为推断能解释示范的奖励或成本，再通过规划或强化学习得到策略。模仿学习是更宽的目标范畴，既可直接学策略，也可经过奖励建模。

照着厨师每一步手势学是行为克隆；推测厨师在平衡味道、速度和成本，再按这些目标自己做，是逆强化学习。相同手势可能来自不同目标，因此推测不唯一。

行为克隆只在专家访问分布上训练。小动作偏差可能让学习者进入专家没来过的状态，继续犯错并累积偏移；DAgger 类方法通过学习者访问状态再询问专家来缓解，但需要额外交互与标注。

逆强化学习中，许多奖励函数可以使同一策略最优，常数平移和势函数变换也可能保留行为。因而奖励解释依赖先验、函数类与理性假设，不能称为从示范恢复了唯一真实意图。

数据没有奖励时可做模仿，但普通离线价值学习还需要奖励或可计算评分。专家数据可能不覆盖错误恢复动作，部署前要专门验证偏离示范后的恢复与约束。

同一最优动作可以由不同奖励解释

已知条件

• 一个单步环境只有动作 A、B。
• 候选奖励一为 [2,1]，候选奖励二为 [20,0]；专家选择 A。

计算步骤

1. 两套奖励中 A 都严格优于 B。
2. 仅看到专家选 A，无法区分奖励差是 1 还是 20。
3. 更多状态与示范可以增加约束，但仍需假设与正则。

计算结果

两套不同奖励均解释动作 A；示范并不唯一确定奖励尺度或偏好强度。

处理前后对比

• 行为克隆直接拟合动作，不要求唯一恢复奖励。
• 逆强化学习的奖励解释需说明可辨识假设。

1. 收集专家轨迹
2. 选择 BC/IRL
3. 训练
4. 处理分布偏移

• 序贯决策
• 控制与资源分配

• 用专家分布上的动作准确率代表闭环控制可靠。
• 声称示范唯一确定了人的真实奖励。
• 没有奖励却直接套用需要 TD target 的离线 RL。

本页数值均为解释机制的构造案例，不能解读为真实训练或基准性能。定义和适用条件参见 Ross 等：A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning。

失败模式

• 用专家分布上的动作准确率代表闭环控制可靠。
• 声称示范唯一确定了人的真实奖励。
• 没有奖励却直接套用需要 TD target 的离线 RL。

风险

• 奖励函数与真实目标不一致会诱发奖励黑客。
• 部署策略的行动权限必须由环境和应用层约束。

性能考虑

• 样本效率、墙钟时间和显存占用需要分别报告。
• 应使用多个随机种子、置信区间和固定评测策略。

没有环境奖励还能学习策略吗？

可以从示范做行为克隆，或在额外假设下推断奖励；但这不意味着可以无条件恢复最优策略或唯一真实目标。

网页是否会训练模型？

不会。所有图表使用固定种子或解析公式在浏览器本地计算，不执行页面中的示例代码。