深度学习入门文档深度页
人工神经元
用权重、偏置和激活函数把输入特征转换为一个输出。
学习目标
- 手算一个神经元输出
- 解释权重、偏置、激活
- 用 nn.Linear 验证
为什么需要这个概念
神经元是 Linear、卷积和注意力投影的共同局部基础。
- 理解参数如何影响输出
- 连接前向、损失和梯度
学习前需要掌握
背景与问题
神经元是 Linear、卷积和注意力投影的共同局部基础。
概念定义
人工神经元先计算仿射变换，再由激活函数产生输出；权重与偏置由训练学习。
直观理解
每项输入乘上重要程度后汇总，偏置移动门槛，激活决定响应方式。
核心原理
线性部分负责组合证据，非线性让多层网络表达弯曲关系。
多个神经元并排形成层，多层通过反向传播共同调整参数；激活函数不是损失函数。
数学表达
核心公式
x 是输入，w 是权重，b 是偏置，f 是激活，y 是输出。
变量含义
x输入特征向量w可学习权重b可学习偏置f激活函数
计算步骤
- 1z=0.5×2-1×3+1=-1
- 2ReLU(-1)=0
代码对应位置
示例 1人工神经元 · PyTorch 示例：验证人工神经元的输入、计算和输出。
变量解释
| 变量 | 含义 |
|---|---|
x | 输入特征向量 |
w | 可学习权重 |
b | 可学习偏置 |
f | 激活函数 |
完整数值示例
两输入 ReLU 神经元
已知条件
- x=[2,3]
- w=[0.5,-1]
- b=1
- 1
z=0.5×2-1×3+1=-1
- 2
ReLU(-1)=0
输出 y=0
处理前后对比
计算与实现步骤
- 1
准备输入
- 2
线性加权
- 3
加偏置
- 4
应用激活
- 5
通过损失反传梯度
代码实现
示例 1
人工神经元 · PyTorch 示例
人工神经元 · PyTorch 示例
PyTorch
example_01.py用途：验证人工神经元的输入、计算和输出。
import torch
from torch import nn
neuron=nn.Linear(2,1)
x=torch.tensor([[2.,3.]])
z=neuron(x)
y=torch.relu(z)
print(z.shape,y.shape)代码解析
解析始终位于完整代码下方，并按实际代码段逐项对应。
输入数据与任务
验证人工神经元的输入、计算和输出。
y- 目标标签或连续目标值。
Step 1 · 1–7 行
导入当前步骤需要的数值计算、预处理、模型或评价工具。依赖集中写在代码开头，便于复现。
import torch
from torch import nn
neuron=nn.Linear(2,1)
x=torch.tensor([[2.,3.]])
z=neuron(x)
y=torch.relu(z)
print(z.shape,y.shape)预期输出或运行结果
z 与 y 均为 torch.Size([1,1])。
常见错误 · 4 条
- 激活与损失混淆
- 权重人工固定不训练
- 多层无非线性
- 确认样本轴、特征轴以及 X 与 y 的第一维完全对应。
实际应用
- MLP
- 卷积通道投影
常见错误
激活与损失混淆
权重人工固定不训练
多层无非线性
文档来源
01_人工神经元原始文档
学习资料/deeplearning/01_人工神经元.md- §1 人工神经元是什么
- §2 各部分作用
- §3 数值例子
- §7 PyTorch 神经元
常见问题
偏置为什么重要？
它让决策边界不必经过原点。
权重越大越重要吗？
需结合输入尺度和其他特征解释。
推荐学习资料
暂未收录相关资料
参考库不会生成虚假资源或无效外部链接。