机器学习进阶文档深度页
AdaBoost
顺序训练弱学习器，提高误分类样本权重，并按学习器表现加权投票。
学习前需要掌握
决策树加权投票内容待补充
背景与问题
简单弱模型组合后可形成复杂边界，但错误标签和异常点也会被持续放大。
概念定义
AdaBoost 常使用浅树桩；每轮集中关注前面难以分类的样本。
直观理解
错题在下一轮获得更高复习优先级。
核心原理
后续学习器依赖当前样本权重，训练难以完全并行；学习率和学习器数量控制累积。
数学表达
核心表达
后续学习器依赖当前样本权重，训练难以完全并行；学习率和学习器数量控制累积。
变量含义
变量定义与本页概念定义一致，代码中的同名变量保持相同语义。
计算步骤
- 1初始化等权
- 2训练弱学习器
- 3计算错误率
- 4提高错分权重
代码对应位置
示例 1AdaBoost 实现：对应文档中的训练与预测逻辑。
计算与实现步骤
- 1
初始化等权
- 2
训练弱学习器
- 3
计算错误率
- 4
提高错分权重
- 5
计算模型权重
- 6
加权投票
代码实现
示例 1
AdaBoost 实现
AdaBoost 实现
scikit-learn
example_01.py用途：对应文档中的训练与预测逻辑。
from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier
model=AdaBoostClassifier(estimator=DecisionTreeClassifier(max_depth=1),n_estimators=100,learning_rate=0.05,random_state=42)代码解析
解析始终位于完整代码下方，并按实际代码段逐项对应。
输入数据与任务
对应文档中的训练与预测逻辑。
model- 组合预处理和估计器的模型对象。
Step 1 · 1–3 行
导入当前步骤需要的数值计算、预处理、模型或评价工具。依赖集中写在代码开头，便于复现。
from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier
model=AdaBoostClassifier(estimator=DecisionTreeClassifier(max_depth=1),n_estimators=100,learning_rate=0.05,random_state=42)预期输出或运行结果
得到由 100 个树桩顺序组合的分类器。
常见错误 · 2 条
- 噪声标签被反复关注
- 只增加轮数不验证
实际应用
- 结构化分类
- 弱学习器集成
常见错误
噪声标签被反复关注
只增加轮数不验证
文档来源
05｜决策树与集成学习原始文档
学习资料/learning_tech/05_tree_and_ensemble.md- §8 AdaBoost
推荐学习资料
暂未收录相关资料
参考库不会生成虚假资源或无效外部链接。