注意尖峰：固定维度下核与神经网络的良性过拟合

将过参数化神经网络训练至近零训练误差所取得的成功，引发了人们对良性过拟合现象的极大兴趣，即估计量即使插值了含噪训练数据，在统计上仍是一致的。尽管固定维度下的良性过拟合已在某些学习方法中得到确立，现有文献表明，对于典型核方法与宽神经网络的回归，良性过拟合需要维度随样本量增长的的高维设定。本文中，我们表明估计量的平滑性而非维度才是关键：良性过拟合当且仅当估计量的导数足够大时才可能。我们将现有的不一致性结果推广到非插值模型与更多核，以证明在固定维度下具有适中导数的良性过拟合是不可能的。反之，我们证明对于使用具有大导数的尖峰-平滑核序列的回归，达到最优速率的良性过拟合是可能的。利用神经正切核，我们将结果转化到宽神经网络。我们证明，虽然无限宽网络在 ReLU 激活下不能良性过拟合，但可通过向激活函数添加微小高频波动来修复。我们的实验验证了此类神经网络虽过拟合，却确实能在低维数据集上良好泛化。