随机森林

Bagging 已让各棵树看到不同记录，但如果一个强特征总能压倒其他特征，许多树仍会在高层使用同样划分，错误依旧相关。随机森林在节点候选特征上再增加随机性，试图减少树之间同步犯错。

随机森林在 bootstrap 数据上训练多棵树，并在各分裂节点从随机特征子集中寻找划分。回归平均树的预测；scikit-learn 分类器通常平均各树的类别概率再取最大类，因此不必等同于硬标签多数票。

让评审不仅看到不同样本，还被要求从不同角度分析。每个评审可能稍弱，但如果错误相关性明显下降，集体判断反而更稳定；随机性过强也会丢掉有用信息。

max_features 控制单节点可选特征数，减少它通常加强去相关，也可能增大单树偏差。它不是每棵树训练前固定删掉一批列；候选集合可在不同节点重新采样。

n_estimators 增加主要减少有限棵树的蒙特卡洛波动，无法无限消除共同误差。树深、叶子最小样本数和特征子集需要联合调节；更多树并不替代对数据泄漏和标签噪声的诊断。

OOB 每条记录汇总未见它的树；小森林时某些记录可用树很少，估计不稳定。时间序列与分组任务应使用相应拆分，不能因为内置 OOB 方便就忽略相关样本之间的信息流动。

1. 固定训练与评测边界，再做训练内抽样。
2. 每棵树建立自己的 bootstrap 记录。
3. 每个节点抽候选特征，按划分准则选分裂。
4. 按叶子约束长树，收集概率或回归输出。
5. 汇总预测，检查验证表现、OOB 可用性和资源成本。

• 作为表格分类回归的非线性基线，捕捉部分交互。
• 在不过度依赖外推的场景，利用树集合改善单树稳定性。

• 把 max_features 误解成每棵树永久只用固定列。
• 认为更多树必然消除噪声和系统偏差。
• 分类时忽略概率平均与硬投票可能有差异。