网络退化作为训练性能的指示量：有限宽度与无限宽度角度预测的对比

神经网络是应用广泛且功能强大的函数，但这些函数的理论行为尚未被完全理解。通过堆叠多层构建深度神经网络已在许多应用中取得卓越性能，并推动了这些方法的近期爆发。先前工作表明，深度可指数级增加网络的可表达性。然而，随着网络越来越深，它们更容易发生退化。我们观测到这种退化：在初始化时，输入在穿过网络各层时趋于变得越来越相关。若网络层数过多，它倾向于逼近一个（随机）常数函数，从而实质上无法区分不同输入。正如我们在本文中通过实证研究所表明的，这似乎会影响网络的训练并导致其表现不佳。我们使用一种简单算法，可准确预测任意给定全连接ReLU网络架构的退化程度，并展示预测的退化如何与网络的训练动态相关。我们还将此预测与基于无限宽度网络推导出的预测进行了比较。