归一化方式对正则化回归中的收缩效应的影响

正则化模型通常对数据特征的尺度敏感，因此在拟合模型前对特征进行归一化（居中并缩放）已成为标准做法。然而，存在多种归一化方式，且选择不同方式可能对最终模型产生 dramatic 影响。尽管如此，迄今为止尚无人就此议题进行研究。本文通过研究 lasso、ridge 和 elastic net 回归中的归一化，填补了这一知识空白。我们关注二元特征，表明其 class 平衡（1 的比例）直接影响回归系数，且该效应取决于所使用的归一化和正则化方法的组合。我们演示了通过对二元特征进行比例缩放（lasso 情况下为方差，ridge 情况下为标准差）可以消除这一效应，但代价是系数估计的方差增加。对于 elastic net，我们表明通过缩放惩罚权重而非特征本身可以实现相同的效果。最后，我们也处理混合二元和正常特征以及交互作用 cases，并提供一些关于如何归一化这些特征的初始结果。