基于高效 l2,1-范数最小化的多任务特征学习
机器学习
2012-05-14 v1 计算机视觉与模式识别
机器学习
摘要
跨一组相关任务进行联合特征选择的问题在生物医学信息学和计算机视觉等多个领域具有应用价值。我们考虑用于多任务联合特征选择的 l2,1-范数正则化回归模型，该模型可通过假设指数族中的适当先验在概率框架下推导得出。l2,1-范数正则化的一个显著特点是它鼓励多个预测器共享相似的稀疏模式。然而，由于 l2,1-范数正则化的非光滑性，由此产生的优化问题难以求解。本文提出通过将其重构为两个等价的平滑凸优化问题来加速计算，随后利用 Nesterov 方法（一种用于平滑凸优化的最优一阶黑盒方法）进行求解。求解重构问题的一个关键构建块是欧几里得投影。我们证明，第一个重构问题的欧几里得投影可以解析计算，而第二个重构问题的欧几里得投影可以在线性时间内计算。在多个数据集上的实证评估验证了所提算法的效率。
引用
@article{arxiv.1205.2631,
title = {Multi-Task Feature Learning Via Efficient l2,1-Norm Minimization},
author = {Jun Liu and Shuiwang Ji and Jieping Ye},
journal= {arXiv preprint arXiv:1205.2631},
year = {2012}
}
备注
Appears in Proceedings of the Twenty-Fifth Conference on Uncertainty in Artificial Intelligence (UAI2009)