通过凸集分解的稀疏组Lasso双层特征约减
机器学习
2014-10-17 v1
摘要
稀疏组Lasso（SGL）已被证明是一种强大的回归技术，通过结合ℓ1和ℓ2范数，能够同时发现组内和组间的稀疏模式。然而，在大规模应用中，正则化器的复杂性带来了巨大的计算挑战。在本文中，我们提出了一种新颖的用于SGL的双层特征约减方法（TLFre），该方法通过分解其对偶可行集来实现。双层约减能够分别快速识别非活跃组和非活跃特征，这些组和特征被保证不会出现在稀疏表示中，因此可以从优化中移除。现有的特征约减方法仅适用于具有一个稀疏诱导正则化器的稀疏模型。据我们所知，TLFre是第一个能够处理多个稀疏诱导正则化器的方法。此外，TLFre具有非常低的计算成本，并且可以与任何现有的求解器集成。我们还为非线性最小二乘问题（原文是nonnegative Lasso problem，但这里写的是nonnegative Lasso？）开发了一种筛选方法——称为DPC（凸集分解）。在合成和真实数据集上的实验表明，TLFre和DPC将SGL和非负Lasso的效率提高了几个数量级。
引用
@article{arxiv.1410.4210,
title = {Two-Layer Feature Reduction for Sparse-Group Lasso via Decomposition of Convex Sets},
author = {Jie Wang and Jieping Ye},
journal= {arXiv preprint arXiv:1410.4210},
year = {2014}
}