SpicyMKL
机器学习
2011-05-10 v2 统计计算
摘要
我们提出了一种新的多核学习（MKL）优化算法，称为SpicyMKL，它适用于一般的凸损失函数和一般类型的正则化。所提出的SpicyMKL迭代地求解光滑最小化问题。因此，无需在内部求解SVM、LP或QP。SpicyMKL可以视为一种近端最小化方法，并具有超线性收敛速度。内部最小化的成本大致与活跃核的数量成正比。因此，当我们旨在获得稀疏核组合时，我们的算法在核数量增加时具有良好的可扩展性。此外，我们给出了MKL的一般块范数公式，其中包括非稀疏正则化，如弹性网络和\ellp-范数正则化。扩展SpicyMKL，我们提出了一种针对一般正则化框架的高效优化方法。实验结果表明，我们的算法比现有方法更快，尤其是在核数量较大（>1000）时。
引用
@article{arxiv.0909.5026,
title = {SpicyMKL},
author = {Taiji Suzuki and Ryota Tomioka},
journal= {arXiv preprint arXiv:0909.5026},
year = {2011}
}
备注
30 pages, 6 figures