重正则化最小二乘学习在重尾噪声下的 minimax 最优性
机器学习
2025-11-07 v3 统计理论
机器学习
统计理论
摘要
本文考察了在噪声具有有限个高阶矩的情况下,核主义空间中的岭回归性能。我们在基于众所周知的积分算子框架下建立了由次高斯项和多项式项组成的剩余风险界。支配性次高斯分量允许实现此前仅在亚指数噪声下获得的收敛率——这是过去二十年间相关工作中普遍假设的条件。这些速率在标准特征值衰减条件下是最优的,表明正则化最小二乘在重尾噪声下的渐进鲁棒性。我们的推导基于 Hilbert 空间随机变量的 Fuk-Nagaev 不等式。
引用
@article{arxiv.2505.14214,
title = {Regularized least squares learning with heavy-tailed noise is minimax optimal},
author = {Mattes Mollenhauer and Nicole Mücke and Dimitri Meunier and Arthur Gretton},
journal= {arXiv preprint arXiv:2505.14214},
year = {2025}
}
备注
32 pages, 1 figure