从安全筛选规则到工作集以加速 Lasso 型求解器
机器学习
2017-05-02 v2 机器学习
最优化与控制
统计计算
摘要
凸的促进稀疏的正则化在现代统计学习中无处不在。根据其构造，它们产生具有少量非零系数的解，这对应于对偶优化公式中的饱和约束。工作集 (WS) 策略是一种通用优化技术，它通过仅考虑约束的一个子集（其索引构成 WS）来求解更简单的问题。因此，工作集方法包含两层嵌套迭代：外层循环对应于 WS 的定义，内层循环调用求解器处理子问题。对于 Lasso 估计器，WS 是一个特征集；而对于 Group Lasso，它指的是一个组集。在实践中，此背景下的 WS 通常很小，因此相关的特征 Gram 矩阵可以放入内存。在此我们表明，Gauss-Southwell 规则（一种用于块坐标下降技术的贪婪策略）在此情形下能带来快速的求解器。结合基于对所谓 Gap Safe 筛选规则的激进使用的工作集策略，我们提出了一种在稀疏学习问题上实现最先进性能的求解器。结果在 Lasso 和多任务 Lasso 估计器上进行了展示。
引用
@article{arxiv.1703.07285,
title = {From safe screening rules to working sets for faster Lasso-type solvers},
author = {Mathurin Massias and Alexandre Gramfort and Joseph Salmon},
journal= {arXiv preprint arXiv:1703.07285},
year = {2017}
}