基于具有收敛保证的随机 Frank-Wolfe 方法的快速可扩展 Lasso
机器学习
2015-10-27 v1 机器学习
最优化与控制
摘要
在过去的几年中，Frank-Wolfe（FW）算法常被提出作为求解机器学习领域出现的各种优化问题的高效求解器。能够使用低成本的免投影迭代以及该方法的增量特性，使得 FW 成为许多需要计算稀疏模型的大规模问题的非常有效的选择。在本文中，我们提出了一种针对求解大规模 Lasso 回归问题而定制的 FW 方法的高性能实现，该实现基于随机化迭代，并证明了标准 FW 方法的收敛保证在随机设置下得以保持。我们在实验上表明，我们的算法在几个具有非常多特征的基准数据集上优于几种现有的 SOTA 方法，包括 Friedman 等人的坐标下降算法（已知最快的 Lasso 求解器之一），且不牺牲模型的精度。我们的结果表明，该算法能够在不到一分钟的时间内为规模高达四百万个变量的问题生成完整的正则化路径。
引用
@article{arxiv.1510.07169,
title = {Fast and Scalable Lasso via Stochastic Frank-Wolfe Methods with a Convergence Guarantee},
author = {Emanuele Frandi and Ricardo Nanculef and Stefano Lodi and Claudio Sartori and Johan A. K. Suykens},
journal= {arXiv preprint arXiv:1510.07169},
year = {2015}
}