最大边际自由度的一个界
机器学习
2025-01-07 v2 机器学习
摘要
核岭回归（Kernel ridge regression）通常在内存分配和计算时间上开销巨大。本文解决了核岭回归的低秩近似和代理模型问题，从而弥合了这些困难。本文的根本贡献是给出了最小秩的一个下界，使得近似的预测能力保持可靠。基于此界，我们证明了最流行的低秩方法（即 Nyström 方法）的计算成本在样本量上几乎是线性的。这从理论角度论证了该方法的合理性。此外，本文显著扩展了正则化参数的可行选择范围。该结果建立在对基本核函数由相关积分算子值域中的元素进行近似的彻底理论分析之上。我们提供了近似误差的估计，并刻画了底层权重函数范数的行为。
引用
@article{arxiv.2402.12885,
title = {A Bound on the Maximal Marginal Degrees of Freedom},
author = {Paul Dommel},
journal= {arXiv preprint arXiv:2402.12885},
year = {2025}
}