插值器的均匀收敛：高斯宽度、范数界与良性过拟合
机器学习
2022-01-05 v2 机器学习
统计理论
统计理论
摘要
我们考虑在高斯数据的高维线性回归中进行插值学习，并针对任意假设类中的插值器，基于该类的高斯宽度证明了其泛化误差的一种通用均匀收敛保证。将该通用界应用于欧氏范数球，恢复了 Bartlett 等人 (2020) 关于最小范数插值器的一致性结果，并在高斯数据的特殊情况下证实了 Zhou 等人 (2020) 对近最小范数插值器的预测。我们通过将其应用于单纯形，得到了最小 l1 范数插值器（基追踪）的一种新的一致性结果，从而展示了该界的普适性。我们的结果表明，基于范数的泛化界如何能够解释并用于分析良性过拟合，至少在某些情形下如此。
引用
@article{arxiv.2106.09276,
title = {Uniform Convergence of Interpolators: Gaussian Width, Norm Bounds, and Benign Overfitting},
author = {Frederic Koehler and Lijia Zhou and Danica J. Sutherland and Nathan Srebro},
journal= {arXiv preprint arXiv:2106.09276},
year = {2022}
}
备注
v2: Minor changes only. As published at NeurIPS 2021: https://proceedings.neurips.cc/paper/2021/hash/ac9815bef801f58de83804bce86984ad-Abstract.html