机器学习进阶文档深度页
Bagging
对多个自助采样子集并行训练高方差模型，再投票或平均降低不稳定性。
学习前需要掌握
决策树方差内容待补充
背景与问题
单棵树对训练样本变化敏感；多个错误不完全相关的树平均后方差下降。
概念定义
Bootstrap Aggregating 允许有放回抽样，每个基学习器看到不同样本集合。
直观理解
让多位略有不同的评审独立判断，再汇总意见。
核心原理
基模型需要有能力且保持差异。树越相关，平均收益越小。
数学表达
核心表达
基模型需要有能力且保持差异。树越相关，平均收益越小。
变量含义
变量定义与本页概念定义一致，代码中的同名变量保持相同语义。
计算步骤
- 1生成 B 个 bootstrap 样本
- 2独立训练基模型
- 3收集预测
- 4投票/平均
代码对应位置
示例 1Bagging 实现：对应文档中的训练与预测逻辑。
计算与实现步骤
- 1
生成 B 个 bootstrap 样本
- 2
独立训练基模型
- 3
收集预测
- 4
投票/平均
- 5
用 OOB 或 CV 评价
代码实现
示例 1
Bagging 实现
Bagging 实现
scikit-learn
example_01.py用途：对应文档中的训练与预测逻辑。
from sklearn.ensemble import BaggingClassifier
from sklearn.tree import DecisionTreeClassifier
model=BaggingClassifier(DecisionTreeClassifier(),n_estimators=100,random_state=42)代码解析
解析始终位于完整代码下方，并按实际代码段逐项对应。
输入数据与任务
对应文档中的训练与预测逻辑。
model- 组合预处理和估计器的模型对象。
Step 1 · 1–3 行
导入当前步骤需要的数值计算、预处理、模型或评价工具。依赖集中写在代码开头，便于复现。
from sklearn.ensemble import BaggingClassifier
from sklearn.tree import DecisionTreeClassifier
model=BaggingClassifier(DecisionTreeClassifier(),n_estimators=100,random_state=42)预期输出或运行结果
得到由 100 棵 bootstrap 树组成的 Bagging 分类器。
常见错误 · 2 条
- 基模型高度相关
- 把 OOB 完全替代业务测试
实际应用
- 降低树方差
- 并行集成
常见错误
基模型高度相关
把 OOB 完全替代业务测试
文档来源
05｜决策树与集成学习原始文档
学习资料/learning_tech/05_tree_and_ensemble.md- §5 集成学习的核心
- §6 Bagging
推荐学习资料
暂未收录相关资料
参考库不会生成虚假资源或无效外部链接。