过拟合三层神经正切核模型的泛化能力
机器学习
2022-06-07 v1 统计理论
机器学习
统计理论
摘要
在本文中，我们研究了过参数化三层 NTK（神经正切核）模型的泛化性能。我们表明，对于一组特定的真值函数（我们称之为“可学习集”），过拟合三层 NTK 的测试误差上界由一个随两个隐藏层神经元数量增加而减小的表达式给出。与仅有一个隐藏层的二层 NTK 不同，三层 NTK 涉及两个隐藏层之间的相互作用。我们的上界揭示，在两个隐藏层之间，测试误差相对于第二隐藏层（更靠近输出的层）神经元数量的下降速度快于相对于第一隐藏层（更靠近输入的层）神经元数量的下降速度。我们还表明，无偏置的三层 NTK 的可学习集不小于具有各种神经元偏置选择的二层 NTK 的可学习集。然而，就实际泛化性能而言，我们的结果表明，三层 NTK 对偏置选择的敏感度远低于二层 NTK，尤其是在输入维度较大时。
引用
@article{arxiv.2206.02047,
title = {On the Generalization Power of the Overfitted Three-Layer Neural Tangent Kernel Model},
author = {Peizhong Ju and Xiaojun Lin and Ness B. Shroff},
journal= {arXiv preprint arXiv:2206.02047},
year = {2022}
}