深度学习入门扩展内容
损失函数
损失函数把预测质量转成一个可优化的标量。
前置知识
通俗直觉
它像模型的评分规则：分数越差，优化器就越需要调整参数。
核心原理
不同任务需要匹配概率假设的损失；分类常用交叉熵，回归常用均方误差。
数学公式
交叉熵惩罚模型给正确类别分配过低概率。
工作流程
- 1
模型输出 logits
- 2
转换或直接计算损失
- 3
对批次求平均
- 4
反向传播损失梯度
代码示例
损失函数 示例
PyTorch
example.py用途：正确类别是索引 0，它的 logit 最大，因此损失较小。函数内部完成 softmax 与对数计算。
import torch
from torch import nn
logits = torch.tensor([[2.0, 0.4, -1.0]])
target = torch.tensor([0])
loss = nn.CrossEntropyLoss()(logits, target)
print(loss.item())代码解析
正确类别是索引 0，它的 logit 最大，因此损失较小。函数内部完成 softmax 与对数计算。
- — CrossEntropyLoss 接收原始 logits
- — 目标使用类别索引
应用场景
- 模型训练目标
- 模型比较
常见误区
对 logits 重复做 softmax
只看损失不看业务指标
推荐学习资料
暂未收录相关资料
参考库不会生成虚假资源或无效外部链接。