强化学习与监督/无监督学习

• 依据反馈形式和行动后果选择学习范式，而不是依据数据是否带数字标签。
• 独立复核“动作模仿准确率不能代替策略价值”的输入、计算和解释。
• 行为标签的频率不等于动作收益。

依据反馈形式和行动后果选择学习范式，而不是依据数据是否带数字标签。

同一个商店问题可以有不同建模方式：预测用户是否点击属于监督任务，按行为聚类属于无监督任务，连续调价影响库存和未来需求则可能需要序贯决策。问题的时间结构与反馈方式，比“是否使用神经网络”更能决定范式。

监督学习利用输入与目标标签学习映射；无监督学习从未标注数据中发现结构或学习表示。强化学习学习行动策略，收到的是动作后果的评价，通常没有每一步最优动作的标准答案。三者可以组合，例如先无监督学习表示，再用强化学习优化控制。

老师指出“这一题答案是 B”相当于标签；只给一组没有答案的试卷可用于发现题型；让你选择复习顺序，最后用考试结果评价计划，则出现行动、延迟反馈和归因问题。

分类标签直接约束单个输入的预测。奖励 1 只表示某次后果按评分规则较好，无法说明所有未选动作会得多少分；把奖励当成正确动作标签会丢掉反事实信息缺失。

如果每次决策互不影响未来状态，问题可能是上下文老虎机。若今天的调价改变明天库存，就需要对后续机会建模；这是从单次反馈走向完整强化学习的关键。

离线强化学习虽用固定数据，仍通过策略改进询问“采取不同动作会怎样”。行为克隆则直接拟合历史动作；两者都能使用监督式损失，但目标和覆盖风险不同。

动作模仿准确率不能代替策略价值

已知条件

• 历史标签为左、左、左、右。
• 始终向左准确率为 75%；构造环境中左得 1，右得 2，动作后均结束。

计算步骤

1. 模仿历史最常见动作会选择左。
2. 该策略回报是 1；始终右的回报是 2。
3. 本例结束后无后续状态影响，更准确地说是单步决策示例。

计算结果

监督模仿准确率 0.75 与奖励最优动作“右”回答不同问题。

处理前后对比

• 行为标签的频率不等于动作收益。
• 若不知道动作收益，不能仅凭这四个标签得出右更优。

1. 确认反馈类型
2. 检查动作是否影响未来
3. 定义长期目标
4. 选择学习范式

• 序贯决策
• 控制与资源分配

• 把所有带奖励的预测问题都叫强化学习。
• 看到离线数据就认定任务只能属于监督学习。
• 用历史动作准确率代替新策略的长期回报评价。

本页数值均为解释机制的构造案例，不能解读为真实训练或基准性能。定义和适用条件参见 Sutton 与 Barto《Reinforcement Learning: An Introduction》（第 1、2 章）。

失败模式

• 把所有带奖励的预测问题都叫强化学习。
• 看到离线数据就认定任务只能属于监督学习。
• 用历史动作准确率代替新策略的长期回报评价。

风险

• 奖励函数与真实目标不一致会诱发奖励黑客。
• 部署策略的行动权限必须由环境和应用层约束。

性能考虑

• 样本效率、墙钟时间和显存占用需要分别报告。
• 应使用多个随机种子、置信区间和固定评测策略。

监督学习能用于强化学习内部吗？

可以。价值回归、环境模型和奖励模型常用监督损失，但最终策略仍按序贯决策目标与数据边界评价。

网页是否会训练模型？

不会。所有图表使用固定种子或解析公式在浏览器本地计算，不执行页面中的示例代码。