Celer：一种带对偶外推的 Lasso 快速求解器
机器学习
2018-06-07 v3
摘要
凸稀疏诱导正则化在高维机器学习中无处不在，但求解由此产生的优化问题可能很慢。为加速求解器，最先进的方法在于缩小手头优化问题的规模。在回归背景下，这可通过丢弃无关特征（筛选技术）或优先处理可能包含在解支撑集中的特征（工作集技术）来实现。对偶在这些技术的多个步骤中发挥作用。在此，我们提出一种从对偶中迭代序列出发的外推技术，可构造改进的对偶点。这使得停止准则中最优性控制更紧，以及 Gap Safe 规则的筛选性能更优。最后，我们提出一种基于激进使用 Gap Safe 筛选规则的工作集策略。得益于新的对偶点构造，我们在多个真实世界问题上展示了显著的计算加速。
引用
@article{arxiv.1802.07481,
title = {Celer: a Fast Solver for the Lasso with Dual Extrapolation},
author = {Mathurin Massias and Alexandre Gramfort and Joseph Salmon},
journal= {arXiv preprint arXiv:1802.07481},
year = {2018}
}