Exploration 与 Exploitation

• 区分当前收益与信息价值，避免只因早期偶然好结果就停止探索。
• 独立复核“两动作 ε-greedy 的实际行动概率”的输入、计算和解释。
• 贪心动作概率不等于 1−ε。

区分当前收益与信息价值，避免只因早期偶然好结果就停止探索。

两个广告中，一个已展示很多次，平均回报 0.5；另一个只试过一次，回报 0。立即永久放弃后者可能错失更优方案，但盲目平均探索又会浪费机会。需要根据不确定性与试验预算分配行动。

利用选择当前估计最好的动作；探索选择可能改善知识的动作。ε-greedy 以一定概率随机选动作，UCB 利用不确定性奖励，后验采样则按对价值的不确定判断决策。它们解决的信息分配问题不同于单纯加入动作噪声。

餐厅选择中，常去的店比较可靠，新店可能更好也可能更差。临近旅行最后一餐，探索回报的未来价值通常小于旅行刚开始时；规划期限影响合理的探索强度。

ε-greedy 的随机分支通常从所有动作均匀采样，包含当前贪心动作。因此两动作、唯一贪心动作、ε=0.2 时，贪心动作概率是 0.9，另一动作是 0.1，不能写成 0.8 与 0.2。

多步任务中，逐步独立噪声可能很难形成通向新区域的连贯行为。稀疏奖励需要更有结构的探索或先验；同时任何探索方法都必须满足动作权限与安全边界。

训练期探索回报与评测回报应分开。关闭随机噪声后收益提高不等于学得更多；比较样本效率时要固定环境交互预算，并说明评测是否使用确定性策略。

两动作 ε-greedy 的实际行动概率

已知条件

• 动作价值估计为 3 与 1，ε=0.2。
• 随机分支均匀抽取两个动作，包括最优动作。

计算步骤

1. 贪心分支以 0.8 选择动作 0。
2. 随机分支各贡献 0.1，得到概率 0.9 与 0.1。
3. 按当前估计计算的期望单步价值是 0.9×3+0.1×1=2.8。

计算结果

动作概率为 0.90 和 0.10；估计下的期望价值为 2.80。

处理前后对比

• 贪心动作概率不等于 1−ε。
• 这里是按现有 Q 估计求期望，未计未来信息价值。

1. 定义行为策略
2. 设置 epsilon 或 entropy
3. 衰减探索
4. 单独评测

• 序贯决策
• 控制与资源分配

• 漏算随机分支再次抽到贪心动作的概率。
• 测试时仍混入训练探索却与确定性策略直接比较。
• 把随机探索当作能可靠发现任意稀疏奖励路径的保证。

本页数值均为解释机制的构造案例，不能解读为真实训练或基准性能。定义和适用条件参见 Sutton 与 Barto《Reinforcement Learning: An Introduction》（第 2 章）。

失败模式

• 漏算随机分支再次抽到贪心动作的概率。
• 测试时仍混入训练探索却与确定性策略直接比较。
• 把随机探索当作能可靠发现任意稀疏奖励路径的保证。

风险

• 奖励函数与真实目标不一致会诱发奖励黑客。
• 部署策略的行动权限必须由环境和应用层约束。

性能考虑

• 样本效率、墙钟时间和显存占用需要分别报告。
• 应使用多个随机种子、置信区间和固定评测策略。

探索率越高越好吗？

更高探索带来更多信息，也牺牲当前收益；合理水平依赖不确定性、时间范围、奖励稀疏性和风险约束。

网页是否会训练模型？

不会。所有图表使用固定种子或解析公式在浏览器本地计算，不执行页面中的示例代码。