学习神经网络的双峰

最近的研究证明了神经网络泛化误差存在双下降现象，其中高度过参数化的模型避免了过拟合并实现了良好的测试性能，这与统计学习理论描述的标准偏差-方差权衡相悖。在本文中，我们探索了这一现象与神经网络所表示函数的复杂性和敏感性增加之间的联系。具体而言，我们研究了布尔平均维度（BMD），这是一种在布尔函数分析背景下开发的度量。聚焦于随机特征模型的简单师生设置，我们基于复制方法进行了理论分析，得出了BMD的可解释表达式，在数据点数量、特征数量和输入大小趋于无穷的高维机制下。我们发现，随着网络过参数化程度的增加，BMD在插值阈值处达到一个明显的峰值，与泛化误差峰值相对应，然后缓慢趋近于一个低渐近值。随后，在不同模型类别和训练设置的数值实验中追踪到了相同的现象。此外，我们经验性地发现，对抗性初始化的模型往往表现出更高的BMD值，而对对抗性攻击更鲁棒的模型则表现出更低的BMD。