强归纳偏置可证明地阻止无害插值
机器学习
2023-03-02 v2 机器学习
摘要
经典观点认为，估计器应避免拟合噪声以实现良好的泛化。相反，现代过参数化模型即使插值了噪声也能产生较小的测试误差——这一现象常被称为“良性过拟合”或“无害插值”。本文认为，插值无害的程度取决于估计器归纳偏置的强度，即估计器在多大程度上偏好具有某种结构的解：强归纳偏置阻止无害插值，而弱归纳偏置甚至可能需要拟合噪声才能良好泛化。我们的主要理论结果建立了高维核回归的紧非渐近界，该界针对卷积核反映了这一现象，其中滤波器尺寸调节归纳偏置的强度。我们进一步为具有不同滤波器尺寸和旋转不变性的深度神经网络提供了相同行为的经验证据。
引用
@article{arxiv.2301.07605,
title = {Strong inductive biases provably prevent harmless interpolation},
author = {Michael Aerni and Marco Milanta and Konstantin Donhauser and Fanny Yang},
journal= {arXiv preprint arXiv:2301.07605},
year = {2023}
}
备注
Accepted at ICLR 2023