l_1,p 群 Lasso 的完整分析
机器学习
2012-06-22 v1 最优化与控制
机器学习
摘要
群 Lasso 是机器学习方法中一种众所周知的联合正则化工具。虽然 l_{1,2} 和 l_{1,\infty} 版本已被详细研究且存在高效算法,但关于其他 l_{1,p} 变体仍存在未解之谜。我们刻画了所有满足 1 <= p <= \infty 的 p-范数下 l_{1,p} 群 Lasso 解的条件,并提出了一种统一的主动集算法。针对所有 p-范数,我们提出了一种高效的投影梯度算法。这一新算法使我们能够在多任务学习设置中比较多种群 Lasso 变体的预测性能,该设置旨在并行解决许多通过群 Lasso 约束耦合的学习问题。我们在合成数据以及两个真实世界数据集上进行了大规模实验。与对不同范数的理论刻画一致,我们观察到 p 介于 1.5 和 2 之间的弱耦合范数始终优于 p >> 2 的强耦合范数。
引用
@article{arxiv.1206.4632,
title = {A Complete Analysis of the l_1,p Group-Lasso},
author = {Julia Vogt and Volker Roth},
journal= {arXiv preprint arXiv:1206.4632},
year = {2012}
}
备注
ICML2012