可调谐的广义最小最大核
机器学习
2017-03-10 v2 机器学习
摘要
最近提出的“广义最小最大”（GMM）核可以被高效地线性化，在大规模统计学习和快速近邻搜索中有直接应用。线性化的GMM核曾与线性化的径向基函数（RBF）核进行了广泛比较。在大量分类任务中，免调参的GMM核与最佳调参的RBF核相比表现（令人惊讶地）良好。然而，人们自然会期望，如果引入调谐参数，GMM核的性能应能得到进一步提升。本文研究了三种简单的可调谐GMM核构造：（i）指数化GMM（或eGMM）核，（ii）幂化GMM（或pGMM）核，以及（iii）指数化-幂化GMM（或epGMM）核。通过修改原始GMM核的哈希过程，pGMM核仍能被高效线性化。在大约60个公开可用的分类数据集上，我们验证了所提出的可调谐GMM核通常优于原始GMM核。在某些数据集上，改进可能惊人地显著。例如，在11个曾用于测试深度学习算法和树方法的流行数据集上，我们的实验表明，所提出的可调谐GMM核是树方法和深度网络的强有力竞争者。先前的研究开发了包括“abc-robust-logitboost”在内的树方法，并通过建立二阶树分裂公式和多类逻辑损失的新导数，展示了在这些11个数据集（及其他数据集）上的优异性能。与像“abc-robust-logitboost”这样的树方法（速度慢且需要相当大的模型尺寸）相比，可调谐的GMM核产生了大致可比的结果。
引用
@article{arxiv.1701.02046,
title = {Tunable GMM Kernels},
author = {Ping Li},
journal= {arXiv preprint arXiv:1701.02046},
year = {2017}
}