LSTM

• 手算一次 LSTM 的状态写入
• LSTM 的细胞状态和隐藏状态为什么不同？
• 说明：门控改善记忆路径，不能保证任意长度依赖都能学习，也不能省略变长处理。

LSTM 维护隐藏状态 h 与细胞状态 c，使用遗忘门 f、输入门 i、输出门 o 和候选内容 g 更新。门通常经 sigmoid，候选内容经 tanh。

普通 RNN 不容易稳定地把信息传过很多时间步。LSTM 通过可控制的细胞状态通路，分别决定保留旧内容、写入新内容和暴露哪些内容。

LSTM 维护隐藏状态 h 与细胞状态 c，使用遗忘门 f、输入门 i、输出门 o 和候选内容 g 更新。门通常经 sigmoid，候选内容经 tanh。

细胞状态像长期笔记，遗忘门擦去一部分，输入门写入一部分，输出门决定本步向外展示多少。

更新 c_t=f_t×c_prev+i_t×g_t，再计算 h_t=o_t×tanh(c_t)。门是 0 到 1 的连续向量，不是人工写好的二元开关。加法通路能减轻反复矩阵相乘造成的梯度问题，但遗忘门持续很小仍会快速抹去历史。

四组变换各自读取当前输入和前一隐藏状态，因此标准 LSTM 通常比相同 hidden size 的普通 RNN 有更多参数。细胞状态也不等于原始历史；它是由目标训练出来的压缩表示。

PyTorch 返回 output 和 (h_n,c_n)。多层或双向时，最终状态首轴包含层与方向；最后时间位置不等于所有方向的最终摘要。变长序列需要正确处理 padding，在线跨片段时还应明确状态携带与 detach。

手算一次 LSTM 的状态写入

已知条件

• 上一细胞状态为 2
• f=0.5，i=0.25，g=0.8，o=0.75

计算步骤

1. 保留项为 0.5×2=1。
2. 新写入项为 0.25×0.8=0.2。
3. c=1.2，h=0.75×tanh(1.2)。

计算结果

细胞状态为 1.2，隐藏输出约为 0.625241。

处理前后对比

• 门控改善记忆路径，不能保证任意长度依赖都能学习，也不能省略变长处理。

1. 保留项为 0.5×2=1。
2. 新写入项为 0.25×0.8=0.2。
3. c=1.2，h=0.75×tanh(1.2)。

• 需要较长上下文的序列基线
• 有状态在线时序预测

• 忘记 c_n
• output[:,-1] 取 padding
• 以为永不梯度消失

LSTM 的细胞状态和隐藏状态为什么不同？

细胞状态用于内部累加和保留信息，隐藏状态是经 tanh 与输出门暴露的表示；两者形状可能相同，但运算角色不同。

这个示例能说明什么边界？

门控改善记忆路径，不能保证任意长度依赖都能学习，也不能省略变长处理。