机器学习进阶文档深度页
L1 正则化与稀疏性
以权重绝对值之和惩罚复杂度，几何尖角与软阈值使部分权重精确变为零。
学习前需要掌握
线性模型内容待补充数值标准化（Z-score）
背景与问题
高维、小样本和噪声特征会造成不稳定大权重。L1 同时拟合与做嵌入式特征选择。
概念定义
L1 范数为 Σ|wⱼ|；线性回归加入 L1 称 Lasso。零点不可导，使用次梯度、坐标下降或近端方法。
直观理解
每个非零权重都要付固定边际成本，小贡献权重更容易被压成零。
核心原理
先标准化；λ 越大稀疏越强但可能欠拟合。零权重只表示当前模型未使用，不代表无现实因果。
数学表达
核心表达
先标准化；λ 越大稀疏越强但可能欠拟合。零权重只表示当前模型未使用，不代表无现实因果。
变量含义
变量定义与本页概念定义一致，代码中的同名变量保持相同语义。
计算步骤
- 1划分数据
- 2标准化
- 3设置 λ/alpha/C 范围
- 4折内选择
代码对应位置
示例 1L1 正则化与稀疏性 示例：对应文档中的可靠评价或训练流程。
计算与实现步骤
- 1
划分数据
- 2
标准化
- 3
设置 λ/alpha/C 范围
- 4
折内选择
- 5
检查非零数与验证表现
- 6
分析稳定性
代码实现
示例 1
L1 正则化与稀疏性 示例
L1 正则化与稀疏性 示例
scikit-learn
example_01.py用途：对应文档中的可靠评价或训练流程。
from sklearn.linear_model import LassoCV
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
model=make_pipeline(StandardScaler(),LassoCV(cv=5,max_iter=20000))代码解析
解析始终位于完整代码下方，并按实际代码段逐项对应。
输入数据与任务
对应文档中的可靠评价或训练流程。
model- 组合预处理和估计器的模型对象。
Step 1 · 1–4 行
导入当前步骤需要的数值计算、预处理、模型或评价工具。依赖集中写在代码开头，便于复现。
from sklearn.linear_model import LassoCV
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
model=make_pipeline(StandardScaler(),LassoCV(cv=5,max_iter=20000))代码与数学原理
减去训练均值并除以训练标准差，对应代码中的 mean/std 或 StandardScaler。
预期输出或运行结果
交叉验证选出 alpha，并产生可能稀疏的 coef_。
常见错误 · 4 条
- 不要在测试集上调用 fit 或 fit_transform；测试集只能复用训练参数。
- 未标准化
- 零权重当因果结论
- 完整数据先选择
实际应用
- 稀疏回归
- 特征选择
常见错误
未标准化
零权重当因果结论
完整数据先选择
文档来源
11｜L1 正则化：稀疏模型与特征选择原始文档
学习资料/learning_tech/11_l1_regularization.md- §1 为什么需要正则化
- §2 L1 数学形式
- §3 为什么产生稀疏权重
- §5 为什么要标准化
推荐学习资料
暂未收录相关资料
参考库不会生成虚假资源或无效外部链接。