关于神经网络的谱偏置

神经网络已知是一类极具表达能力的函数，甚至能以 $100\%$ 的准确率拟合随机的输入-输出映射。在这项工作中，我们给出了补充神经网络这一表达性方面的性质。通过使用傅里叶分析工具，我们表明深度 ReLU 网络偏向于低频函数，这意味着它们若具有局部波动就必然影响其全局行为。直观上，该性质与过参数化网络能发现跨数据样本泛化的简单模式的观察一致。我们还通过展示证据表明流形复杂度增加时学习高频变得\emph{更容易}，来研究数据流形形状如何影响表达性，并给出了对此行为的理论理解。最后，我们研究了频率分量相对于参数扰动的鲁棒性，以建立这样的直觉：必须精细调节参数才能表达高频函数。