Robust Scaling 与异常值处理
用中位数和四分位距降低极端值对缩放参数的影响,并先区分错误数据与真实稀有事件。
学习前需要掌握
背景与问题
均值和标准差对极端值敏感,有时会让大量普通样本的差异被压得很小。RobustScaler 使用中位数与分位区间建立另一把尺子,适合检查含长尾或异常值的数据。
“稳健缩放”并不等于自动发现、删除或修正异常点。异常值的合法性仍需要根据采集、单位与任务语义判断。
概念定义
常见稳健缩放先减去训练中位数,再除以训练四分位距 IQR=Q3−Q1。它用中间分布范围描述典型波动,和按均值、标准差缩放的含义不同。
缩放参数必须在训练范围估计;分位数算法、分位区间和零 IQR 处理都应明确。数值个数很少时,不同分位约定也可能影响结果。
直观理解
不让最远的一个点决定整把尺子的长度,可以更好保留普通样本之间的差异。但远点除以这把较短的尺子后,仍可能成为一个非常大的数,甚至比标准化结果更大。
一个极端值仍然会得到很大的结果
构造数据 [10,11,12,13,1000],采用此例的常见线性分位定义,中位数为 12,Q1=11、Q3=13,所以 IQR=2。缩放结果为 [-1,-0.5,0,0.5,494]。
前四条的间隔没有被 1000 拉出的巨大标准差同样压缩,但 1000 也没有消失或变得普通。这个例子说明稳健统计与异常处理是两件事。
核心原理
先审查极端记录的来源。传感器单位混用、录入错误与真实高价值客户,需要不同处理,不能只按统计距离统一删除。
稳健缩放改变尺度,不会使长尾自动变成正态,也不会把输出限制在固定区间。对非负长尾特征,合理的对数变换可能是另一项需要独立验证的选择。
IQR 很小或为零时,自定义实现需要边界处理。高比例同值、缺失和训练/未来分布变化,也会影响这把尺子的适用性。
推荐学习资料
参考库不会生成虚假资源或无效外部链接。