多核学习的快速学习速率：稀疏性与光滑性之间的权衡

Taiji Suzuki; Masashi Sugiyama

doi:10.1214/13-AOS1095

多核学习的快速学习速率：稀疏性与光滑性之间的权衡

机器学习 2013-08-27 v2 统计理论统计理论

作者: Taiji Suzuki , Masashi Sugiyama

在 arXiv 上查看 ↗ PDF ↗ DOI ↗

摘要

我们研究带有 $\ell_1$ 和弹性网正则化的多核学习 (MKL) 的学习速率。弹性网正则化由用于诱导稀疏性的 $\ell_1$ 正则化项和用于控制光滑性的 $\ell_2$ 正则化项组合而成。我们关注一种稀疏设定，其中核的总数很大，但真实函数中非零分量的数目相对较小，并证明了比以往对 $\ell_1$ 和弹性网正则化所展示的学习速率更快的收敛速率。我们的分析揭示了正则化函数的选择与性能之间的一些关系。如果真实函数是光滑的，我们证明弹性网正则化在比 $\ell_1$ 正则化更少的条件下具有更快的收敛速率；否则， $\ell_1$ 正则化具有更快的收敛速率。

关键词

多核学习学习速率弹性网正则化稀疏性光滑性收敛速率 l1 正则化

引用

@article{arxiv.1203.0565,
  title  = {Fast learning rate of multiple kernel learning: Trade-off between sparsity and smoothness},
  author = {Taiji Suzuki and Masashi Sugiyama},
  journal= {arXiv preprint arXiv:1203.0565},
  year   = {2013}
}

备注

Published in at http://dx.doi.org/10.1214/13-AOS1095 the Annals of Statistics (http://www.imstat.org/aos/) by the Institute of Mathematical Statistics (http://www.imstat.org). arXiv admin note: text overlap with arXiv:1103.0431

多核学习的快速学习速率：稀疏性与光滑性之间的权衡

摘要

关键词

引用

备注

相关论文