深度学习进阶文档深度页
Transformer Mask
Mask 防止读取 padding 或未来标签，是序列模型正确性的边界条件。
学习目标
- 解释核心机制
- 手算一个主要形状或公式
- 运行完整示例并排查错误
为什么需要这个概念
Transformer Mask是该文档中连接数据表示、训练目标和工程实现的核心主题。
- 掌握Transformer Mask的输入输出与训练边界
- 能够用 PyTorch 代码验证公式和形状
学习前需要掌握
PyTorch Tensor内容待补充神经网络训练循环
背景与问题
Transformer Mask是该文档中连接数据表示、训练目标和工程实现的核心主题。
概念定义
Mask 防止读取 padding 或未来标签，是序列模型正确性的边界条件。
直观理解
把Transformer Mask理解为数据在模型中的一套明确变换，而不是只记一个类名。
核心原理
禁止位置必须在 Softmax 前屏蔽；训练生成还需目标右移。
实现时必须同时检查 shape、dtype、mask 或模式切换，并用验证集而不是测试集选择配置。
数学表达
核心公式
Transformer Mask的核心数学表达。
变量含义
Nbatch sizeD/H特征或隐藏维度
计算步骤
- 1按公式或模块逐步计算
- 2核对输出 shape
代码对应位置
示例 1Transformer Mask · PyTorch 示例：验证Transformer Mask的输入、计算和输出。
变量解释
| 变量 | 含义 |
|---|---|
N | batch size |
D/H | 特征或隐藏维度 |
完整数值示例
Transformer Mask数值/形状检查
已知条件
- N=8
- D=64
- 1
按公式或模块逐步计算
- 2
核对输出 shape
输出保持 batch 维并符合任务头约定
处理前后对比
计算与实现步骤
- 1
确认输入与目标
- 2
建立最小模块
- 3
随机张量前向
- 4
计算损失
- 5
反向与更新
- 6
验证与错误分析
代码实现
示例 1
Transformer Mask · PyTorch 示例
Transformer Mask · PyTorch 示例
PyTorch
example_01.py用途：验证Transformer Mask的输入、计算和输出。
L=5
causal=torch.triu(torch.ones(L,L,dtype=torch.bool),diagonal=1)
valid=torch.tensor([[1,1,1,0,0]],dtype=torch.bool)
key_padding=~valid
print(causal.shape,key_padding.shape)代码解析
解析始终位于完整代码下方，并按实际代码段逐项对应。
输入数据与任务
验证Transformer Mask的输入、计算和输出。
Step 1 · 1–5 行
输出中间参数、形状或最终指标，用于核对代码是否符合预期。
L=5
causal=torch.triu(torch.ones(L,L,dtype=torch.bool),diagonal=1)
valid=torch.tensor([[1,1,1,0,0]],dtype=torch.bool)
key_padding=~valid
print(causal.shape,key_padding.shape)预期输出或运行结果
打印与页面说明一致的张量形状或损失。
常见错误 · 5 条
- valid/padding 方向反
- mask 轴错
- 所有 Key 被屏蔽
- 生成忘 causal
- 确认样本轴、特征轴以及 X 与 y 的第一维完全对应。
实际应用
- Transformer Mask
- 教学与项目基线
常见错误
valid/padding 方向反
mask 轴错
所有 Key 被屏蔽
生成忘 causal
文档来源
19_注意力机制与Transformer原始文档
学习资料/deeplearning/19_注意力机制与Transformer.md- §5 padding/causal mask
- §14 目标右移
- §16 形状表
常见问题
Transformer Mask最先检查什么？
先检查输入输出 shape、dtype 和数据边界。
何时使用测试集？
全部设计锁定后最终评估。
推荐学习资料
暂未收录相关资料
参考库不会生成虚假资源或无效外部链接。