最小范数插值中依赖模型的泛化界失效
机器学习
2021-10-19 v3 机器学习
统计理论
统计理论
摘要
我们考虑在过参数化 regime 下能插值数据的最小范数线性回归器的泛化性能界。我们描述了一种意义，在该意义下统计学习理论中常见证明的一类泛化界在应用于分析最小范数插值器时，有时必然非常宽松。具体而言，对于训练样本上多种自然的联合分布，任何仅依赖于学习算法输出、训练样本数和置信参数，且满足一个温和条件（远弱于样本量单调性）的有效泛化界，有时必然非常宽松——当真实超额风险趋于零时，它可由一个常数从下方界定。
引用
@article{arxiv.2010.08479,
title = {Failures of model-dependent generalization bounds for least-norm interpolation},
author = {Peter L. Bartlett and Philip M. Long},
journal= {arXiv preprint arXiv:2010.08479},
year = {2021}
}