刻画 $L_2$Boosting

我们考虑 $L_2$Boosting，这是 Friedman 通用提升算法在 $L_2$ 损失下应用于线性回归的一个特例。我们针对任意正则化参数研究 $L_2$Boosting，并推导出了沿固定坐标方向所采取步数的精确闭式表达式。该关系被用于描述 $L_2$Boosting 的解路径，描述研究其路径的新工具，并刻画该算法的一些独特性质，包括活跃集循环（active set cycling），即当正则化参数任意小时，算法会在相同坐标之间长时间循环的性质。我们的固定下降分析还揭示了一种可抑制条件（repressible condition），该条件通过阻止理想变量进入解路径而限制了 $L_2$Boosting 在相关性问题中的有效性。作为一个简单的补救措施，采用了一种类似于弹性网（elastic net）的数据增强方法来引入 $L_2$ 惩罚，并结合去相关化，证明了该方法可以逆转可抑制条件并规避 $L_2$Boosting 在相关性问题中的缺陷。这本身为解释为何弹性网在相关性问题中成功，以及为何 LAR 和 lasso 等方法在此类设定中表现不佳提供了新的视角。