可控稀疏性核学习
机器学习
2014-01-03 v1
摘要
近年来，支持向量机（SVMs）上的多核学习（MKL）因其在物体分类等应用问题中的成功而成为研究热点。这种成功归因于 MKL 能够从各种特征核中选择最优的核组合。然而，MKL 的初始公式仅能选择最佳特征，而遗漏了许多其他具有信息量的核。为克服这一问题，Kloft 等人提出了基于 Lp 范数的公式。该公式能够通过控制参数 p 选择非稀疏的核集。不幸的是，参数 p 对于所选核的数量没有直接含义。我们观察到，对所选核数量进行更严格的控制，能在分类准确率方面优于这些技术，并有助于根据当前的时间需求微调算法。在本工作中，我们提出了一种可控稀疏性核学习（CSKL）公式，能够严格控制我们希望选择的核数量。CSKL 公式引入了一个参数 t，该参数直接对应于所选核的数量。值得注意的是，在 t 空间中的搜索是有限的且比 p 更快。我们还提供了一种基于约化梯度下降的高效算法来求解 CSKL 公式，并证明其收敛性。通过在 Caltech101 物体分类数据集上的实验，我们也表明，通过正确选择 t，可以获得比先前公式更好的准确率。
引用
@article{arxiv.1401.0116,
title = {Controlled Sparsity Kernel Learning},
author = {Dinesh Govindaraj and Raman Sankaran and Sreedal Menon and Chiranjib Bhattacharyya},
journal= {arXiv preprint arXiv:1401.0116},
year = {2014}
}