CNN 张量形状与参数量

• 同一卷积处理两种图像大小
• 为什么 Flatten 后容易出现 Linear 维度错误？
• 说明：参数统计不能替代速度、显存或泛化能力评估。

CNN 形状分析逐层计算 batch、通道、空间尺寸的变化；参数统计只计算可学习张量元素数，两者相关但不是同一件事。

卷积网络改一个步长，后面所有展平维度都可能变化。先画出形状链和参数账本，可以在训练前发现不匹配，并判断模型主要把容量花在哪里。

CNN 形状分析逐层计算 batch、通道、空间尺寸的变化；参数统计只计算可学习张量元素数，两者相关但不是同一件事。

激活大小像流水线当前占用的工作台，参数量像固定安装的工具数量。换大图会占更多工作台，却不一定增加工具。

普通卷积输出空间长度按输入、padding、dilation、核、stride 计算并向下取整。batch 通常保持，通道变为 out_channels；池化一般保留通道，只改变空间。Flatten(start_dim=1) 合并非 batch 维，避免误把样本拼在一起。

带偏置普通卷积参数为 C_out×(C_in×K_h×K_w+1)，groups 不为 1 时需把每核输入通道除以 groups。线性层参数为 out_features×(in_features+1)。BatchNorm 另有缩放和偏移参数，running stats 是 buffer。

参数少不代表运行快：高分辨率卷积会在很多位置重复计算。训练显存还包括激活、梯度和优化器状态，因此应分别记录参数、输出形状和实际内存测量。

同一卷积处理两种图像大小

已知条件

• 卷积从 3 通道变为 8 通道，3×3 核，有偏置
• stride=2，padding=1
• 输入高宽分别为 32 与 64

计算步骤

1. 32 的输出为 floor((32+2−3)/2)+1=16。
2. 64 的输出为 32。
3. 参数始终为 8×(3×9+1)=224。

计算结果

输出分别是 (2,8,16,16) 和 (2,8,32,32)，参数均为 224。

处理前后对比

• 参数统计不能替代速度、显存或泛化能力评估。

1. 32 的输出为 floor((32+2−3)/2)+1=16。
2. 64 的输出为 32。
3. 参数始终为 8×(3×9+1)=224。

• 训练前验证网络结构
• 比较分辨率变化的资源成本

• 通道不衔接
• stride 只凭直觉
• Flatten 算错
• 忽略尾部池化

为什么 Flatten 后容易出现 Linear 维度错误？

in_features 必须等于实际通道×高×宽。任何池化、步长或输入分辨率变化都会改变这个乘积，需重新核对或使用自适应池化。

这个示例能说明什么边界？

参数统计不能替代速度、显存或泛化能力评估。