机器学习进阶文档深度页
Lasso 回归与正则化路径
在线性回归 MSE 上加入 L1，用 alpha 控制稀疏度，并在训练部分交叉验证选择。
学习前需要掌握
L1内容待补充回归内容待补充
背景与问题
路径能揭示特征进入/退出模型，但高度相关特征可能不稳定地互换。
概念定义
sklearn Lasso 的 alpha 越大正则越强；正则化路径展示权重随 alpha 变化到零。
直观理解
从几乎不惩罚逐步加大费用，观察哪些特征最晚被压为零。
核心原理
alpha 候选按对数尺度；LassoCV 只在训练数据内部选择。最终评价和因果解释分开。
数学表达
核心表达
alpha 候选按对数尺度；LassoCV 只在训练数据内部选择。最终评价和因果解释分开。
变量含义
变量定义与本页概念定义一致，代码中的同名变量保持相同语义。
计算步骤
- 1标准化
- 2设置 logspace alpha
- 3LassoCV
- 4查看最佳 alpha
代码对应位置
示例 1Lasso 回归与正则化路径 示例：对应文档中的可靠评价或训练流程。
计算与实现步骤
- 1
标准化
- 2
设置 logspace alpha
- 3
LassoCV
- 4
查看最佳 alpha
- 5
画权重路径
- 6
最终测试
代码实现
示例 1
Lasso 回归与正则化路径 示例
Lasso 回归与正则化路径 示例
scikit-learn
example_01.py用途：对应文档中的可靠评价或训练流程。
alphas=np.logspace(-4,1,100)
model=make_pipeline(StandardScaler(),LassoCV(alphas=alphas,cv=5,max_iter=20000))
model.fit(X_train,y_train)代码解析
解析始终位于完整代码下方，并按实际代码段逐项对应。
输入数据与任务
对应文档中的可靠评价或训练流程。
X_train- 训练特征，只允许它参与预处理器和模型的 fit。
y_train- 与 X_train 对齐的训练目标。
model- 组合预处理和估计器的模型对象。
Step 1 · 1–3 行
调用 fit 学习训练数据中的参数；若在 Pipeline 中，预处理器与模型会按顺序拟合。
alphas=np.logspace(-4,1,100)
model=make_pipeline(StandardScaler(),LassoCV(alphas=alphas,cv=5,max_iter=20000))
model.fit(X_train,y_train)代码与数学原理
减去训练均值并除以训练标准差，对应代码中的 mean/std 或 StandardScaler。
预期输出或运行结果
named_steps["lassocv"].alpha_ 给出训练内部选择的强度。
常见错误 · 5 条
- 不要在测试集上调用 fit 或 fit_transform；测试集只能复用训练参数。
- 测试集选 alpha
- 所有权重为零仍认为成功
- 相关特征不稳定
- 确认样本轴、特征轴以及 X 与 y 的第一维完全对应。
实际应用
- 回归特征选择
- 稀疏解释
常见错误
测试集选 alpha
所有权重为零仍认为成功
相关特征不稳定
文档来源
11｜L1 正则化：稀疏模型与特征选择原始文档
学习资料/learning_tech/11_l1_regularization.md- §7 sklearn 中的 Lasso
- §8 交叉验证选择 alpha
- §9 正则化路径
推荐学习资料
暂未收录相关资料
参考库不会生成虚假资源或无效外部链接。