过拟合两层神经正切核模型的泛化能力研究

Peizhong Ju; Xiaojun Lin; Ness B. Shroff

过拟合两层神经正切核模型的泛化能力研究

机器学习 2023-03-09 v3 统计理论机器学习统计理论

作者: Peizhong Ju , Xiaojun Lin , Ness B. Shroff

摘要

本文研究了无偏置项、具有 ReLU 激活函数的两层神经网络神经正切核（NTK）模型的最小 $\ell_2$ 范数过拟合解的泛化性能。我们表明，根据真实函数的不同，过拟合 NTK 模型的测试误差呈现出不同于其他具有简单傅里叶或高斯特征的过参数化线性模型的“双下降”特性。具体而言，对于一类可学习函数，我们给出了一个泛化误差的新上界，即使神经元数量 $p$ 趋于无穷，该上界也趋近于一个很小的极限值。此极限值随训练样本数 $n$ 的增加而进一步减小。对于该类之外的函数，我们给出了一个泛化误差下界，即使 $n$ 和 $p$ 都很大，该下界也不会衰减到零。

关键词

神经正切核两层神经网络过拟合泛化误差双下降 ReLU 激活

引用

@article{arxiv.2103.05243,
  title  = {On the Generalization Power of Overfitted Two-Layer Neural Tangent Kernel Models},
  author = {Peizhong Ju and Xiaojun Lin and Ness B. Shroff},
  journal= {arXiv preprint arXiv:2103.05243},
  year   = {2023}
}

备注

Published in ICML21. This version fixes an error of Lemma 31 and other parts affected by this error. The main results remain the same except some small changes on certain coefficients of Eq.(9)

过拟合两层神经正切核模型的泛化能力研究

摘要

关键词

引用

备注

相关论文