Transformer Mask

• 三位置因果注意力的均匀权重
• 因果 mask 能替代语言模型目标右移吗？
• 说明：mask 的布尔方向由 API 决定；屏蔽 key 不自动排除 query 的损失和池化贡献。

因果 mask 限制 query 只读取当前及过去 key；padding mask 排除无效 key。mask 在 softmax 前修改分数，训练生成模型还需要输入与目标的正确移位。

语言生成训练时整段文本已在内存中，若不屏蔽未来，模型可以偷看答案。padding 又会让无意义位置参与归一化，因此需要两种不同的可见性约束。

因果 mask 限制 query 只读取当前及过去 key；padding mask 排除无效 key。mask 在 softmax 前修改分数，训练生成模型还需要输入与目标的正确移位。

因果 mask 是不许翻后页，padding mask 是空白页不算内容；这两条规则解决不同问题。

加性 mask 对允许位置加 0，对禁止位置加负无穷，使其 softmax 权重为零。布尔 mask 则依 API 解释。nn.MultiheadAttention 的 True 常表示禁止，而函数式 scaled_dot_product_attention 的布尔 True 表示允许，不能直接复用同一方向。

key_padding_mask 常为 $[N,L_k]$，因果 attn_mask 常为 $[L_q,L_k]$ 或约定的批头形状。屏蔽 key 并不保证 padding query 的输出为零；后续池化、损失和指标仍需有效位置处理。

若一整行所有 key 都被屏蔽，softmax 可能产生非有限值，行为还取决于具体实现。应避免全空样本或定义明确策略。目标右移也不能由 mask 替代，否则训练标签仍可能与输入错位。

三位置因果注意力的均匀权重

已知条件

• 所有未屏蔽分数为 0，序列长度为 3
• 第 i 行只允许 key 位置不大于 i

计算步骤

1. 第一行只见一个位置，权重为 (1,0,0)。
2. 第二行见两个位置，权重为 (0.5,0.5,0)。
3. 第三行见全部，权重均为 1/3。

计算结果

未来位置权重为 0，每行在允许位置上归一化。

处理前后对比

• mask 的布尔方向由 API 决定；屏蔽 key 不自动排除 query 的损失和池化贡献。

1. 第一行只见一个位置，权重为 (1,0,0)。
2. 第二行见两个位置，权重为 (0.5,0.5,0)。
3. 第三行见全部，权重均为 1/3。

• 自回归语言模型训练
• 合并 padding 与注意力可见性约束

• valid/padding 方向反
• mask 轴错
• 所有 Key 被屏蔽
• 生成忘 causal

因果 mask 能替代语言模型目标右移吗？

不能。mask 控制读取范围，移位定义某位置预测哪个下一 token；两者都正确才能避免偷看或目标错位。

这个示例能说明什么边界？

mask 的布尔方向由 API 决定；屏蔽 key 不自动排除 query 的损失和池化贡献。