Dropout

• p=0.5 的两种可能值与期望
• Dropout 会永久删除神经元吗？
• 说明：保持单元素期望不等于保持整网输出或保证验证效果提高。

Dropout 在训练模式以概率 p 将输入元素置零，并把保留值除以 1-p；评估模式则直接返回输入。这种反向缩放保持单个元素输出的期望不变。

网络可能过度依赖少数隐藏特征的固定组合。Dropout 在训练中随机移除部分响应，让模型在不完整的特征组合下也必须产生预测。

Dropout 在训练模式以概率 p 将输入元素置零，并把保留值除以 1-p；评估模式则直接返回输入。这种反向缩放保持单个元素输出的期望不变。

每次训练临时遮住不同线索，避免模型只记住一种固定搭配；推理时让所有线索一起工作。

对固定输入 h，掩码以概率 1-p 保留元素，输出为 mask×h/(1-p)。例如 p=0.5，保留的 1 变成 2，删除的变成 0，期望仍为 1；并非每一次有限样本输出均值都恰好为 1。

Dropout 的随机性由训练模式决定，no_grad 不会自动关闭它。纯推理既要 model.eval，也要关闭梯度跟踪。若手动调用函数式 dropout，应正确传入 training 标志，否则可能在评估中持续随机。

p 较大时噪声更强，可能使模型欠拟合或梯度波动。它与权重衰减、数据增强作用不同，不能代替代表性数据或正确验证。卷积和序列中还存在按通道或结构化屏蔽的变体。

p=0.5 的两种可能值与期望

已知条件

• 输入元素恒为 1
• 丢弃概率为 0.5

计算步骤

1. 保留时输出 1/(1−0.5)=2。
2. 丢弃时输出 0。
3. 期望为 0.5×2+0.5×0=1。

计算结果

训练输出只可能为 0 或 2；评估输出全部为 1。

处理前后对比

• 保持单元素期望不等于保持整网输出或保证验证效果提高。

1. 保留时输出 1/(1−0.5)=2。
2. 丢弃时输出 0。
3. 期望为 0.5×2+0.5×0=1。

• 全连接隐藏层正则化
• 按验证表现调节训练噪声

• 验证忘记 eval
• p 越大越好
• 误当权重衰减

Dropout 会永久删除神经元吗？

不会。标准 Dropout 每次前向重新采样掩码，参数仍在；它区别于永久剪枝。

这个示例能说明什么边界？

保持单元素期望不等于保持整网输出或保证验证效果提高。