弹性梯度下降：一种逼近弹性网解路径的迭代优化方法
统计方法学
2023-10-27 v4 最优化与控制
摘要
弹性网结合 lasso 与岭回归，将 lasso 的稀疏性与岭回归的分组性相融合。岭回归与梯度下降之间、以及 lasso 与前向逐步回归之间的联系此前已被揭示。类似于弹性网对 lasso 与岭回归的推广，我们引入弹性梯度下降，作为梯度下降与前向逐步回归的推广。我们从理论上分析弹性梯度下降，并将其与弹性网及前向逐步回归比较。部分分析基于弹性梯度流——一种在无穷小步长下得到的分段解析构造。我们还在真实与模拟数据上将弹性梯度下降与弹性网比较，表明其提供相似的解路径，但速度快数个数量级。与前向逐步回归相比，弹性梯度下降所选模型虽仍稀疏，却显著降低了预测与估计误差。
引用
@article{arxiv.2202.02146,
title = {Elastic Gradient Descent, an Iterative Optimization Method Approximating the Solution Paths of the Elastic Net},
author = {Oskar Allerbo and Johan Jonasson and Rebecka Jörnsten},
journal= {arXiv preprint arXiv:2202.02146},
year = {2023}
}