前向传播

• 固定两层权重追踪中间结果
• 只调用 model(x) 会改变参数吗？
• 说明：前向输出正确不代表模型已经学会任务，也不代表参数已经更新。

前向传播是从输入出发，依次执行层运算得到输出的过程。它可能记录供反向传播使用的计算图，但本身不执行参数更新。

训练前必须先回答一个确定的问题：给定这批输入和当前参数，模型到底会预测什么。前向传播按网络连接顺序计算中间表示，是计算损失和梯度的前提。

前向传播是从输入出发，依次执行层运算得到输出的过程。它可能记录供反向传播使用的计算图，但本身不执行参数更新。

可以把每一层当作带形状约定的工序。前一层交付的张量既要有正确数值，也要有下一层接受的维度；最终输出的含义由任务头决定。

在线性层中，输入末维与 in_features 匹配，输出末维换成 out_features。以批量输入为例，$[N,D]$ 乘以权重转置后变成 $[N,H]$，偏置在 batch 维广播。激活再逐元素变换这个表示。

同一个模型在 train 和 eval 模式都会执行前向；Dropout、BatchNorm 等层会按模式采取不同计算。eval 不会自动关闭梯度，而 no_grad 或 inference_mode 控制的是是否跟踪计算。

前向成功只说明这一批运算能够完成。输出可能因广播、标签顺序或错误归一化而语义错误，因此需要检查若干可手算样本，不能只看程序没有报错。

固定两层权重追踪中间结果

已知条件

• 输入一条样本为 (1,2)
• 第一层两行权重为 (1,-1)、(2,0)，偏置为 (1,-1)
• 第二层把两个隐藏值相加

计算步骤

1. 第一层得到 (0,1)。
2. ReLU 后仍为 (0,1)。
3. 第二层求和得到 1。

计算结果

中间张量为 (1,2)，最终输出张量为 (1,1)，数值为 1。

处理前后对比

• 前向输出正确不代表模型已经学会任务，也不代表参数已经更新。

1. 第一层得到 (0,1)。
2. ReLU 后仍为 (0,1)。
3. 第二层求和得到 1。

• 检查模型每层输入输出
• 保存模型后比较推理一致性

• 直接调用 model.forward
• 认为前向会更新参数
• 设备不一致

只调用 model(x) 会改变参数吗？

普通层不会因此执行梯度更新；但训练模式的 BatchNorm 会更新统计 buffer，带状态模块也可能改变内部状态。

这个示例能说明什么边界？

前向输出正确不代表模型已经学会任务，也不代表参数已经更新。