迈向理解深度学习的谱偏置

在神经网络训练过程中观察到的一个有趣现象是谱偏置，即神经网络偏向于学习复杂度较低的函数。优先学习低复杂度函数可能处于解释神经网络泛化能力的核心，且已有若干努力试图为谱偏置提供理论解释。然而，目前仍无令人满意的理论结果阐明谱偏置的底层机制。本文中，我们给出对谱偏置全面且严格的解释，并将其与近期工作提出的神经正切核函数相关联。我们证明神经网络的训练过程可沿由神经正切核特征函数定义的不同方向分解，其中每个方向有其自身的收敛速率，且该速率由对应特征值决定。随后我们给出当输入数据在单位球上均匀分布时的案例研究，表明低阶球谐函数更易被过参数化神经网络学习。最后，我们提供数值实验以证明理论的正确性。我们的实验结果也表明，我们的理论在输入数据分布方面可容忍一定的模型误设。