核岭回归的几何分析及其应用
统计理论
2024-10-10 v2 统计理论
摘要
我们针对所有非负正则化参数，获得了核岭回归（KRR）估计误差的上界，为 KRR 中的各种现象提供了几何视角。作为应用：1. 我们解决了多重下降问题，统一了 arxiv:1908.10292 和 arxiv:1904.12191 中针对多项式核的证明，并在亚高斯设计和非渐近条件下建立了 KRR 估计误差上界的多重下降。2. 对于亚高斯设计向量和非渐近场景，我们证明了高斯等价猜想的一个单侧同构版本。3. 我们为非线性核的核矩阵线性化提供了一个新颖的视角，并将其扩展到多项式核的幂律区域。4. 我们的理论适用于数据依赖核，为深度学习理论中的特征学习区域提供了一个方便且精确的工具。5. 我们的理论在弱矩假设下扩展了 arxiv:2009.14286 中的结果。我们的证明基于本文开发的三个可能具有独立价值的数学工具：1. 在（非常）弱矩假设下椭球的 Dvoretzky-Milman 定理。2. 具有嵌入指标条件的再生核希尔伯特空间中的限制同构性质。3. 有限次多项式核函数的集中不等式。
引用
@article{arxiv.2404.07709,
title = {A Geometrical Analysis of Kernel Ridge Regression and its Applications},
author = {Georgios Gavrilopoulos and Guillaume Lecué and Zong Shang},
journal= {arXiv preprint arXiv:2404.07709},
year = {2024}
}