强化学习是什么

• 区分即时奖励与长期后果，理解为什么行动会改变训练数据。
• 独立复核“接单还是先充电：比较完整后果”的输入、计算和解释。
• 长期回报取决于后续转移，不能只比较第一步奖励。

区分即时奖励与长期后果，理解为什么行动会改变训练数据。

配送机器人可以现在接一单，也可以先充电再服务更多客户。只拟合历史订单的“正确动作”不够：不同选择会改变剩余电量、以后可接订单和采样到的状态。强化学习用于这样的连续决策，而不是给每条输入机械地配一个标签。

强化学习把决策者称为智能体，把它无法直接控制的转移与反馈机制称为环境。策略根据可用信息选择动作，目标是在明确定义的时间范围内提高期望累计回报。奖励是训练信号，可以稀疏、延迟或带噪声，并不天然等于真实业务价值。

下棋时让一颗棋子暂时被吃，可能换来几步后的胜利。判断一步棋不能只看这一步的得失；但最终赢棋也不能证明此前每步都正确，需要通过多次对局和价值估计来分配贡献。

交互循环先观察，再选动作，随后收到下一观察与奖励。策略更新后会访问新的局面，所以数据分布也会变化；监督学习里随机打乱一个固定数据集的假设不能直接照搬。

长期目标需要说明折扣、终止条件和约束。将一次事故简单写成负奖励，可能仍让高收益策略接受事故风险；如果禁止事故是硬条件，还需独立的约束与行动检查。

探索通过尝试不确定动作获取信息，利用则选择当前看来最好的动作。仿真可以降低试错成本，但仿真中学到的策略仍可能利用建模漏洞，必须在独立任务与扰动下验证。

接单还是先充电：比较完整后果

已知条件

• 直接接单得到 3 后结束。
• 充电先付出 1，下一步接单得 6；折扣为 0.9。

计算步骤

1. 直接策略的回报是 3。
2. 充电策略的回报是 −1+0.9×6=4.4。
3. 按本例回报目标选择先充电；若不存在后续订单，结论会变化。

计算结果

充电的即时奖励更低，但折扣回报 4.4 大于直接接单的 3。

处理前后对比

• 长期回报取决于后续转移，不能只比较第一步奖励。
• 本例是已知后果的计算；学习还需要用数据估计这些后果。

1. 观察状态
2. 按策略选择动作
3. 环境转移并给奖励
4. 更新价值或策略
5. 重复并独立评测

• 序贯决策
• 控制与资源分配

• 只优化单步分数，漏掉动作对未来状态的影响。
• 把奖励提高直接等同于用户真实利益提高。
• 只有少数历史轨迹却声称策略学会了所有未见情形。

本页数值均为解释机制的构造案例，不能解读为真实训练或基准性能。定义和适用条件参见 Sutton 与 Barto《Reinforcement Learning: An Introduction》（第 1、3 章）。

失败模式

• 只优化单步分数，漏掉动作对未来状态的影响。
• 把奖励提高直接等同于用户真实利益提高。
• 只有少数历史轨迹却声称策略学会了所有未见情形。

风险

• 奖励函数与真实目标不一致会诱发奖励黑客。
• 部署策略的行动权限必须由环境和应用层约束。

性能考虑

• 样本效率、墙钟时间和显存占用需要分别报告。
• 应使用多个随机种子、置信区间和固定评测策略。

有一个奖励分数就必须用强化学习吗？

不一定。若行动不影响后续状态，且可以直接获得标签或可微目标，监督学习、上下文老虎机或常规优化可能更合适。

网页是否会训练模型？

不会。所有图表使用固定种子或解析公式在浏览器本地计算，不执行页面中的示例代码。