正在加载内容…
DL · 学习方向
用多层神经网络自动学习表示，理解现代智能系统的核心组件。
用 Tensor 表示数据，用 Module 管理层、参数、buffer 和前向。
PyTorch 示例
用权重、偏置和激活函数把输入特征转换为一个输出。
PyTorch 示例
由多层参数化变换和非线性激活组成的可学习函数。
PyTorch 示例
ReLU、Sigmoid、Tanh、GELU 等函数为网络引入非线性或转换输出。
PyTorch 示例
Batch 是一次输入样本组，iteration 是一次训练计算，epoch 是完整遍历训练集。
PyTorch 示例
损失函数把预测质量转成一个可优化的标量。
PyTorch 示例
使用当前参数从输入逐层计算预测，不更新参数。
PyTorch 示例
按清梯度、前向、损失、反向和更新的顺序重复优化参数。
PyTorch 示例
根据回归、二分类、多分类和多标签选择输出形状、标签格式与损失。
PyTorch 示例
用局部最大值、平均值或自适应汇总缩小空间尺寸。
PyTorch 示例
用张量、矩阵乘法、梯度、概率、交叉熵和 KL 理解模型计算。
PyTorch 示例
正确改变形状、轴、类型和设备，避免静默广播和不兼容运算。
PyTorch 示例
Dataset 定义单样本，DataLoader 负责抽样、组批、打乱和并行读取。
PyTorch 示例
划分、拟合训练统计、变换、组批、传输和输入模型的完整链路。
PyTorch 示例
从损失开始按链式法则逆序计算每个参数对损失的影响。
PyTorch 示例
通过与激活匹配的初始化维持前向激活和反向梯度尺度。
PyTorch 示例
两者公式相似但统计轴、运行状态和使用场景不同。
PyTorch 示例
优化器利用梯度历史更新参数，调度器改变后续更新学习率。
PyTorch 示例
从 logits、阈值、混淆矩阵、AUC、校准和 mask 建立可靠评价。
PyTorch 示例
通过控制容量、权重衰减、Dropout、合理增强和提前停止改善神经网络泛化。
PyTorch 示例
利用局部连接和权重共享处理图像等网格结构。
PyTorch 示例
残差连接提供信息与梯度捷径，使深层网络更容易优化。
PyTorch 示例
迁移学习复用预训练表示，固定特征、全量微调或逐步解冻。
PyTorch 示例
检测预测类别/框，分割预测像素；评价需 IoU、AP/mAP 或 mIoU。
PyTorch 示例
把 token id 映射为可学习向量，并用 padding、长度和 mask 组成 batch。
PyTorch 示例
三类循环网络共享时间参数，但状态结构和长依赖能力不同。
PyTorch 示例
Transformer 由注意力、前馈网络、残差、归一化和位置表示组成。
PyTorch 示例
生成模型学习重建、潜分布、对抗或去噪目标，采样过程各不相同。
PyTorch 示例
训练工程让实验正确、可恢复、可比较、可复现。
PyTorch 示例
调试按数据、shape/dtype、前向损失、梯度、参数更新、极小 batch 和曲线顺序。
PyTorch 示例
模型资产包括结构配置、权重、预处理、类别映射、版本和评估范围。
PyTorch 示例
结合训练/验证曲线判断欠拟合、过拟合和训练不稳定。
PyTorch 示例
训练时随机置零部分激活，减少神经元对固定组合的依赖。
PyTorch 示例
卷积核与局部区域逐元素相乘求和，在空间位置生成特征图。
PyTorch 示例
系统计算 NCHW、卷积/池化输出、Flatten 和 Linear 参数量。
PyTorch 示例
前向动态记录运算，反向沿图计算并累加叶子参数梯度。
PyTorch 示例
在 backward 后按总范数或元素值限制梯度，缓解梯度爆炸。
PyTorch 示例
按通道跨 batch/空间统计并维护运行均值方差。
PyTorch 示例
对每个样本最后若干特征维统计，不依赖其他 batch 样本。
PyTorch 示例
Adam 用一阶/二阶矩自适应缩放，AdamW 解耦权重衰减。
PyTorch 示例
按 epoch、实际参数更新或验证指标改变学习率。
PyTorch 示例
把变长序列补齐成规则张量，并明确有效位置、padding 和 causal mask 语义。
PyTorch 示例
RNN 用共享循环单元和隐藏状态把历史信息传向后续时间步。
PyTorch 示例
LSTM 用输入门、遗忘门、输出门和细胞状态缓解长距离依赖训练。
PyTorch 示例
GRU 用重置门和更新门在旧状态与新候选之间平滑选择。
PyTorch 示例
注意力让每个 Query 直接按匹配程度读取所有允许的 Value。
PyTorch 示例
多头注意力在多个投影子空间并行建立关系并合并回模型维度。
PyTorch 示例
Mask 防止读取 padding 或未来标签，是序列模型正确性的边界条件。
PyTorch 示例
VAE 用概率潜空间、重参数化和 KL 正则支持从先验采样。
PyTorch 示例
GAN 由生成器与判别器交替对抗，采样快但训练可能不稳定。
PyTorch 示例
扩散模型学习不同时间步去噪，从噪声多步生成样本。
PyTorch 示例
区分模型家族、训练范式、问题设定和应用领域，再按数据结构选择路线。
PyTorch 示例
AMP 为适合操作选择低精度，并用 GradScaler 缓解 float16 梯度下溢。
PyTorch 示例
MNIST 项目连接数据、CNN、训练、验证最佳检查点、测试、错误样本和单样本推理。
PyTorch 示例