基于 Nyström 的核机器运行方法的几何解释与误差分析
机器学习
2021-09-21 v2 机器学习
摘要
近来，Nyström 方法在加速核机器训练同时保持满意性能与精度方面，已在经验与理论上证明其突出地位。迄今已有若干不同方法被提出以利用 Nyström 方法扩展核机器。然而，缺乏对这些方法的比较研究，且它们均是针对特定类型核机器单独分析的。因此，当推广至其他核机器时，何种方法更具前景这一理念仍存疑问。本文受 Gram 矩阵列包含性质的启发，提出了一种具有清晰几何解释的、运行基于 Nyström 的核机器的新方法。我们表明另两种被广泛研究的方法可等价转化为我们所提方法。因此，为所提方法建立的分析同样适用于这两种方法。特别地，我们所提方法使得在一般设定下推导近似误差成为可能。此外，我们的分析还揭示了上述两种方法与前一种朴素方法之间的关系。首先，相应近似解的分析形式仅相差一项。其次，该朴素方法可通过与其他方法共享同一训练过程而高效实现。这些分析结果表明一种猜想：朴素方法可比另两种复杂方法提供更精确的近似解。由于我们的分析也提供了计算这些近似解精度的方式，我们通过分类任务实验验证了该猜想。
引用
@article{arxiv.2002.08937,
title = {Geometric Interpretation of Running Nystr\"{o}m-Based Kernel Machines and Error Analysis},
author = {Weida Li and Mingxia Liu and Daoqiang Zhang},
journal= {arXiv preprint arXiv:2002.08937},
year = {2021}
}