$k$-支撑范数与聚类范数的新视角
机器学习
2016-01-12 v1 机器学习
摘要
我们研究了一种定义为二次型参数化下确界的正则化项，并将其称为 box-norm。我们证明了由 [Argyriou et al, 2012] 针对稀疏向量预测问题提出的 k-support 范数属于该族，且 box-norm 可作为前者的扰动生成。我们推导出了一种改进的算法来计算平方 box-norm 的近端算子，并提供了一种计算该范数的方法。我们将这些范数扩展至矩阵，引入了谱 k-support 范数与谱 box-norm。我们注意到，谱 box-norm 本质上等价于由 [Jacob et al. 2009a] 提出的多任务学习正则化项聚类范数，而后者反过来可被解释为谱 k-support 范数的扰动。对范数进行中心化对多任务学习很重要，我们也提供了一种将这些范数的中心化版本用作正则化项的方法。数值实验表明，谱 k-support 范数与 box-norm 及其中心化变体分别在矩阵补全和多任务学习问题中提供了 SOTA 的性能。
引用
@article{arxiv.1512.08204,
title = {New Perspectives on $k$-Support and Cluster Norms},
author = {Andrew M. McDonald and Massimiliano Pontil and Dimitris Stamos},
journal= {arXiv preprint arXiv:1512.08204},
year = {2016}
}