列子集选择与 Nystr"om 方法的改进保证及多下降曲线
机器学习
2020-12-22 v3 机器学习
摘要
列子集选择问题（CSSP）与 Nystr"om 方法是机器学习与科学计算中构建大型数据集小型低秩近似的主要工具。该领域的一个基本问题是：大小为 k 的数据子集能多好地媲美最佳秩 k 近似？我们开发了利用数据矩阵谱性质的技术，以获得超越标准最坏情况分析的改进近似保证。我们的方法对具有已知奇异值衰减率（例如多项式或指数衰减）的数据集给出了显著更好的界。我们的分析还揭示了一个有趣现象：作为 k 的函数的近似因子可能呈现多个峰与谷，我们称之为多下降曲线。我们建立的下界表明该行为并非我们分析的人为产物，而是 CSSP 与 Nystr"om 任务的内在属性。最后，以径向基函数（RBF）核为例，我们表明仅通过调节 RBF 参数即可在真实数据集上观察到我们的改进界与多下降曲线。
引用
@article{arxiv.2002.09073,
title = {Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystr\"om method},
author = {Michał Dereziński and Rajiv Khanna and Michael W. Mahoney},
journal= {arXiv preprint arXiv:2002.09073},
year = {2020}
}
备注
Minor typo corrections and clarifications; slight change in the title; moved part of the related work and background discussion to the appendix