通过安全筛选规则实现快速 OSCAR 与 OWL 回归
机器学习
2021-10-20 v2 统计方法学
机器学习
摘要
有序加权 (OWL) 正则化回归是一种用于高维稀疏学习的新型回归分析方法。近端梯度法被用作求解 OWL 回归的标准方法。然而，当特征或样本量较大时，由于可观的计算成本与内存占用，求解 OWL 回归仍是一个紧迫问题。本文中，我们通过迭代策略探索具有未知序结构的原始解的序，提出了首个针对 OWL 回归的安全筛选规则，克服了处理不可分正则项的困难。它有效避免了在学习过程中对那些系数必为零的参数的更新。更重要的是，所提筛选规则可轻易应用于标准和随机近端梯度法。此外，我们证明带有该筛选规则的算法与原始算法保证产生相同结果。在多种数据集上的实验结果表明，与现有竞争性算法相比，我们的筛选规则在没有任何精度损失的情况下带来了显著的计算增益。
引用
@article{arxiv.2006.16433,
title = {Fast OSCAR and OWL Regression via Safe Screening Rules},
author = {Runxue Bao and Bin Gu and Heng Huang},
journal= {arXiv preprint arXiv:2006.16433},
year = {2021}
}
备注
Correct the error of the optimality conditions