ResNet 为何有效？残差具有泛化能力

残差连接显著提升了深度神经网络的性能。然而，鲜有理论结果探讨残差对深度神经网络假设复杂度和泛化能力的影响。本文从假设空间的覆盖数的角度研究残差连接对神经网络假设复杂度的影响。我们证明，若权重矩阵和非线性的总数固定，无论它们是否位于残差中，覆盖数的上界与链状神经网络相同。该结果表明，与链状对应网络相比，残差连接可能不会增加神经网络的假设复杂度。基于覆盖数上界，我们进而为 ResNet 这一具有残差连接的深度神经网络的示例获得了 $\mathcal O(1 / \sqrt{N})$ 的基于间隔的多类泛化界。对于 DenseNet 和 ResNeXt 等类似前沿神经网络架构，其泛化保证是直接的。由我们的泛化界可总结出一个实际实现：为获得良好泛化能力，需要使用正则化项控制权重矩阵范数大小不要增长过多，这为权重衰减的标准技术提供了依据。