Group Lasso 与多核学习的一致性
机器学习
2008-01-28 v2
摘要
我们考虑具有块 1-范数（即大于一维空间上的欧几里得范数之和）正则化的最小二乘回归问题。该问题被称为 Group Lasso，扩展了所有空间维数均为一时的常规 1-范数正则化（通常称为 Lasso）。在本文中，我们研究了 Group Lasso 的渐近模型一致性。我们在模型误设等实际假设下，推导了 Group Lasso 一致性的必要和充分条件。当将线性预测器和欧几里得范数分别替换为函数和再生核希尔伯特范数时，该问题通常被称为多核学习（multiple kernel learning），常用于从异构数据源进行学习以及非线性变量选择。利用泛函分析工具，特别是协方差算子，我们将一致性结果推广到这种无限维情形，并提出了一种自适应方案，以获得一致的模型估计，即使在非自适应方案所需的必要条件不满足时亦然。
引用
@article{arxiv.0707.3390,
title = {Consistency of the group Lasso and multiple kernel learning},
author = {Francis Bach},
journal= {arXiv preprint arXiv:0707.3390},
year = {2008}
}