含噪插值的快速收敛速率需要重新思考归纳偏置的作用
机器学习
2022-10-28 v2 机器学习
摘要
高维数据上良好的泛化性能关键取决于真实底层的简单结构以及估计量相应的强归纳偏置。尽管这一直觉对正则化模型成立，但在本文中，我们警示在存在噪声的情况下进行插值时应避免强归纳偏置：虽然更强的归纳偏置鼓励与真实底层更对齐的更简单结构，但它也增加了噪声的有害影响。具体地，对于具有稀疏真实底层的线性回归和分类，我们证明了最小 -范数和最大 -间隔插值器在 时达到接近 阶的快速多项式速率，而 时为对数速率。最后，我们提供了初步的实验证据，表明这种权衡可能在理解实践中使用的非线性插值模型中起关键作用。
引用
@article{arxiv.2203.03597,
title = {Fast Rates for Noisy Interpolation Require Rethinking the Effects of Inductive Bias},
author = {Konstantin Donhauser and Nicolo Ruggeri and Stefan Stojanovic and Fanny Yang},
journal= {arXiv preprint arXiv:2203.03597},
year = {2022}
}