通过对偶多面体投影的 Lasso 筛选规则
机器学习
2014-10-17 v3 机器学习
摘要
Lasso 是一种广泛用于寻找稀疏表示的回归技术。当特征空间的维度和样本数量极大时，求解 Lasso 问题仍然具有挑战性。为了提高求解大规模 Lasso 问题的效率，El Ghaoui 及其同事提出了 SAFE 规则，该规则能够快速识别非活跃预测变量，即在解向量中分量为 的预测变量。随后，可以将这些非活跃预测变量或特征从优化问题中移除以减小其规模。通过将标准 Lasso 转化为其对偶形式，可以证明非活跃预测变量包含最优对偶解上的非活跃约束集。在本文中，我们提出了一种通过对偶多面体投影（Dual Polytope Projections, DPP）的高效且有效的筛选规则，其主要基于最优对偶解的唯一性和非扩张性，这是因为对偶空间中的可行集是一个凸闭多面体。此外，我们表明我们的筛选规则可以扩展用于识别 group Lasso 中的非活跃组。据我们所知，目前尚无针对 group Lasso 的“精确”筛选规则。我们使用合成数据集和真实数据集评估了我们的筛选规则。结果表明，与现有的 Lasso 最先进筛选规则相比，我们的规则在识别非活跃预测变量方面更为有效。
引用
@article{arxiv.1211.3966,
title = {Lasso Screening Rules via Dual Polytope Projection},
author = {Jie Wang and Peter Wonka and Jieping Ye},
journal= {arXiv preprint arXiv:1211.3966},
year = {2014}
}