更深更好吗？取决于相关特征的局部性

人们已经认识到，重度过参数化的人工神经网络在各种机器学习任务中表现出令人惊讶的良好泛化性能。近期的理论研究试图揭开过参数化的神秘面纱。在多数先前工作中，过参数化通过增加网络宽度实现，而增加深度的效果则理解较少。本文中，我们在过参数化机制内研究增加深度的效果。为深入理解析深度的优势，我们引入局部与全局标签作为抽象但简单的分类规则。结果表明，给定分类规则的相关特征的局部性起关键作用；我们的实验结果表明，对于局部标签更深更好，而对于全局标签更浅更好。我们还将有限网络的结果与神经切线核（NTK）的结果进行比较，NTK 等价于具有适当初始化和无穷小学习率的无限宽网络。研究表明 NTK 不能正确捕捉泛化性能的深度依赖性，这表明特征学习而非惰性学习的重要性。