机器学习进阶文档深度页
领域、比率、多项式与交互特征
把原始字段组合为更贴近任务机制的特征，让简单模型也能表达有意义的非线性关系。
学习前需要掌握
线性模型内容待补充Pipeline 与 ColumnTransformer
背景与问题
线性模型对 φ(x) 仍是线性的，但 φ 可以包含比率、平方项与交互项，使模型表达弯曲或共同作用。
概念定义
特征构造是定义映射 φ(x)，把原始输入转为模型实际学习的表示。
直观理解
总消费和订单数是原材料，“平均客单价”把业务关系直接告诉模型；平方项让直线拥有弯曲能力。
核心原理
所有特征必须在预测时可获得、定义稳定且无未来信息。高阶多项式会快速增加维度，应结合正则化和交叉验证。
数学表达
特征映射
模型实际学习转换后的特征。
变量含义
变量定义与本页概念定义一致，代码中的同名变量保持相同语义。
计算步骤
- 1从任务机制提出候选特征。
- 2处理分母为零和单位。
- 3在训练/预测共享的函数中实现。
- 4将变换放入 Pipeline。
代码对应位置
示例 1构造比率和二阶特征：展示领域比率与 PolynomialFeatures。
二阶示例
交互项表达共同作用，平方项表达曲率。
变量含义
变量定义与本页概念定义一致，代码中的同名变量保持相同语义。
计算步骤
- 1从任务机制提出候选特征。
- 2处理分母为零和单位。
- 3在训练/预测共享的函数中实现。
- 4将变换放入 Pipeline。
代码对应位置
示例 1构造比率和二阶特征：展示领域比率与 PolynomialFeatures。
计算与实现步骤
- 1
从任务机制提出候选特征。
- 2
处理分母为零和单位。
- 3
在训练/预测共享的函数中实现。
- 4
将变换放入 Pipeline。
- 5
比较基线与新增特征的交叉验证结果。
- 6
检查维度、稳定性和泄漏。
代码实现
示例 1
构造比率和二阶特征
构造比率和二阶特征
Python
example_01.py用途：展示领域比率与 PolynomialFeatures。
import numpy as np
from sklearn.preprocessing import PolynomialFeatures
average_order_value = total_spending / np.maximum(order_count, 1)
X_domain = np.column_stack([total_spending, order_count, average_order_value])
poly = PolynomialFeatures(degree=2, include_bias=False)
X_train_poly = poly.fit_transform(X_train)
X_test_poly = poly.transform(X_test)代码解析
解析始终位于完整代码下方，并按实际代码段逐项对应。
输入数据与任务
展示领域比率与 PolynomialFeatures。
X_train- 训练特征，只允许它参与预处理器和模型的 fit。
X_test- 测试特征，只用于最终 transform、predict 和评价。
Step 1 · 1–2 行
导入当前步骤需要的数值计算、预处理、模型或评价工具。依赖集中写在代码开头，便于复现。
import numpy as np
from sklearn.preprocessing import PolynomialFeaturesStep 2 · 4–8 行
调用 fit 学习训练数据中的参数；若在 Pipeline 中，预处理器与模型会按顺序拟合。
average_order_value = total_spending / np.maximum(order_count, 1)
X_domain = np.column_stack([total_spending, order_count, average_order_value])
poly = PolynomialFeatures(degree=2, include_bias=False)
X_train_poly = poly.fit_transform(X_train)
X_test_poly = poly.transform(X_test)预期输出或运行结果
领域特征新增平均客单价；二阶展开产生原特征、平方项和两两交互项。
常见错误 · 4 条
- 构造预测时不存在的特征
- 高阶展开导致维度爆炸
- 相关性被误当因果
- 确认样本轴、特征轴以及 X 与 y 的第一维完全对应。
实际应用
- 房价比率特征
- 用户行为强度
- 非线性回归
常见错误
构造预测时不存在的特征
高阶展开导致维度爆炸
相关性被误当因果
文档来源
02｜数据预处理与特征工程原始文档
学习资料/learning_tech/02_preprocessing_feature_engineering.md- §10 特征工程与特征构造
推荐学习资料
暂未收录相关资料
参考库不会生成虚假资源或无效外部链接。