深度学习进阶文档深度页

缩放点积注意力

注意力让每个 Query 直接按匹配程度读取所有允许的 Value。

学习目标

解释核心机制
手算一个主要形状或公式
运行完整示例并排查错误

为什么需要这个概念

缩放点积注意力是该文档中连接数据表示、训练目标和工程实现的核心主题。

掌握缩放点积注意力的输入输出与训练边界
能够用 PyTorch 代码验证公式和形状

学习前需要掌握

PyTorch Tensor内容待补充神经网络训练循环

背景与问题

缩放点积注意力是该文档中连接数据表示、训练目标和工程实现的核心主题。

概念定义

注意力让每个 Query 直接按匹配程度读取所有允许的 Value。

直观理解

把缩放点积注意力理解为数据在模型中的一套明确变换，而不是只记一个类名。

核心原理

先算分数、屏蔽禁止位置、对 Key 维 Softmax，再加权 Value。

实现时必须同时检查 shape、dtype、mask 或模式切换，并用验证集而不是测试集选择配置。

数学表达

核心公式

A tt e n t i o n (Q, K, V) = so f t ma x (Q K^{T} / d_{k} + M) V

缩放点积注意力的核心数学表达。

变量含义

Nbatch size
D/H特征或隐藏维度

计算步骤

1按公式或模块逐步计算
2核对输出 shape

代码对应位置

示例 1缩放点积注意力 · PyTorch 示例：验证缩放点积注意力的输入、计算和输出。

变量解释

变量	含义
`N`	batch size
`D/H`	特征或隐藏维度

完整数值示例

缩放点积注意力数值/形状检查

已知条件

N=8
D=64

1
按公式或模块逐步计算
2
核对输出 shape

输出保持 batch 维并符合任务头约定

处理前后对比

计算与实现步骤

1
确认输入与目标
2
建立最小模块
3
随机张量前向
4
计算损失
5
反向与更新
6
验证与错误分析

代码实现

示例 1

缩放点积注意力 · PyTorch 示例

缩放点积注意力 · PyTorch 示例

PyTorchexample_01.py

用途：验证缩放点积注意力的输入、计算和输出。

1q=torch.randn(2,5,8);k=torch.randn(2,5,8);v=torch.randn(2,5,8)
2s=q@k.transpose(-2,-1)/(8**.5)
3w=s.softmax(-1);out=w@v
4print(s.shape,out.shape)

代码解析

解析始终位于完整代码下方，并按实际代码段逐项对应。

输入数据与任务

验证缩放点积注意力的输入、计算和输出。

w: 模型权重或当前待优化参数。

Step 1 · 1–4 行

输出中间参数、形状或最终指标，用于核对代码是否符合预期。

q=torch.randn(2,5,8);k=torch.randn(2,5,8);v=torch.randn(2,5,8)
s=q@k.transpose(-2,-1)/(8**.5)
w=s.softmax(-1);out=w@v
print(s.shape,out.shape)

预期输出或运行结果

打印与页面说明一致的张量形状或损失。

常见错误 · 4 条

Softmax 轴错
忘除 sqrt(dk)
Softmax 后 mask
确认样本轴、特征轴以及 X 与 y 的第一维完全对应。

实际应用

缩放点积注意力
教学与项目基线

常见错误

Softmax 轴错

忘除 sqrt(dk)

Softmax 后 mask

文档来源

19_注意力机制与Transformer原始文档

学习资料/deeplearning/19_注意力机制与Transformer.md

§2 QKV
§3 缩放点积
§4 自/交叉注意力

常见问题

缩放点积注意力最先检查什么？

先检查输入输出 shape、dtype 和数据边界。

何时使用测试集？

全部设计锁定后最终评估。

缩放点积注意力

注意力让每个 Query 直接按匹配程度读取所有允许的 Value。

学习目标

解释核心机制
手算一个主要形状或公式
运行完整示例并排查错误

为什么需要这个概念

缩放点积注意力是该文档中连接数据表示、训练目标和工程实现的核心主题。

掌握缩放点积注意力的输入输出与训练边界
能够用 PyTorch 代码验证公式和形状

学习前需要掌握

PyTorch Tensor内容待补充神经网络训练循环

背景与问题

缩放点积注意力是该文档中连接数据表示、训练目标和工程实现的核心主题。

概念定义

注意力让每个 Query 直接按匹配程度读取所有允许的 Value。

直观理解

把缩放点积注意力理解为数据在模型中的一套明确变换，而不是只记一个类名。

核心原理

先算分数、屏蔽禁止位置、对 Key 维 Softmax，再加权 Value。

实现时必须同时检查 shape、dtype、mask 或模式切换，并用验证集而不是测试集选择配置。

数学表达

核心公式

A tt e n t i o n (Q, K, V) = so f t ma x (Q K^{T} / d_{k} + M) V

缩放点积注意力的核心数学表达。

变量含义

Nbatch size
D/H特征或隐藏维度

计算步骤

1按公式或模块逐步计算
2核对输出 shape

代码对应位置

示例 1缩放点积注意力 · PyTorch 示例：验证缩放点积注意力的输入、计算和输出。

变量解释

变量	含义
`N`	batch size
`D/H`	特征或隐藏维度

完整数值示例

缩放点积注意力数值/形状检查

已知条件

N=8
D=64

1
按公式或模块逐步计算
2
核对输出 shape

输出保持 batch 维并符合任务头约定

处理前后对比

计算与实现步骤

1
确认输入与目标
2
建立最小模块
3
随机张量前向
4
计算损失
5
反向与更新
6
验证与错误分析

代码实现

示例 1

缩放点积注意力 · PyTorch 示例

缩放点积注意力 · PyTorch 示例

PyTorchexample_01.py

用途：验证缩放点积注意力的输入、计算和输出。

1q=torch.randn(2,5,8);k=torch.randn(2,5,8);v=torch.randn(2,5,8)
2s=q@k.transpose(-2,-1)/(8**.5)
3w=s.softmax(-1);out=w@v
4print(s.shape,out.shape)

代码解析

解析始终位于完整代码下方，并按实际代码段逐项对应。

输入数据与任务

验证缩放点积注意力的输入、计算和输出。

w: 模型权重或当前待优化参数。

Step 1 · 1–4 行

输出中间参数、形状或最终指标，用于核对代码是否符合预期。

q=torch.randn(2,5,8);k=torch.randn(2,5,8);v=torch.randn(2,5,8)
s=q@k.transpose(-2,-1)/(8**.5)
w=s.softmax(-1);out=w@v
print(s.shape,out.shape)

预期输出或运行结果

打印与页面说明一致的张量形状或损失。

常见错误 · 4 条

Softmax 轴错
忘除 sqrt(dk)
Softmax 后 mask
确认样本轴、特征轴以及 X 与 y 的第一维完全对应。

实际应用

缩放点积注意力
教学与项目基线

常见错误

Softmax 轴错

忘除 sqrt(dk)

Softmax 后 mask

文档来源

19_注意力机制与Transformer原始文档

学习资料/deeplearning/19_注意力机制与Transformer.md

§2 QKV
§3 缩放点积
§4 自/交叉注意力

常见问题

缩放点积注意力最先检查什么？

先检查输入输出 shape、dtype 和数据边界。

何时使用测试集？

全部设计锁定后最终评估。

学习目标

为什么需要这个概念

学习前需要掌握

背景与问题

概念定义

直观理解

核心原理

数学表达

核心公式

变量含义

计算步骤

代码对应位置

变量解释

完整数值示例

缩放点积注意力数值/形状检查

已知条件

处理前后对比

计算与实现步骤

代码实现

缩放点积注意力 · PyTorch 示例

代码解析

输入数据与任务

Step 1 · 1–4 行

预期输出或运行结果

常见错误 · 4 条

实际应用

常见错误

与其他概念的关系

文档来源

常见问题

缩放点积注意力最先检查什么？

何时使用测试集？

推荐学习资料

学习目标

为什么需要这个概念

学习前需要掌握

背景与问题

概念定义

直观理解

核心原理

数学表达

核心公式

变量含义

计算步骤

代码对应位置

变量解释

完整数值示例

缩放点积注意力数值/形状检查

已知条件

处理前后对比

计算与实现步骤

代码实现

缩放点积注意力 · PyTorch 示例

代码解析

输入数据与任务

Step 1 · 1–4 行

预期输出或运行结果

常见错误 · 4 条

实际应用

常见错误

与其他概念的关系

文档来源

常见问题

缩放点积注意力最先检查什么？

何时使用测试集？

推荐学习资料