跳跃连接可证明地改善神经网络损失景观吗？

残差网络现在是深度学习中最有效的结构之一，其利用跳跃连接来“保证”性能不会变差。然而，神经网络的非凸性使得跳跃连接是否确实改善学习能力并不清晰，因为非线性可能产生许多局部极小。在先前一些工作 \cite{freeman2016topology} 中，已表明尽管非凸，当隐藏节点数 $m$ 很大时，两层 ReLU 网络的损失景观具有良好性质。在本文中，我们沿此思路研究带跳跃连接的深度 ReLU 神经网络损失景观的拓扑（子水平集），并从理论上证明跳跃连接网络继承了两层网络的良好性质，且跳跃连接有助于控制子水平集的连通性，使得任何差于某两层 ReLU 网络全局极小值的局部极小值将非常“浅”。这些局部极小值的“深度”至多为 $O(m^{(\eta-1)/n})$，其中 $n$ 为输入维度，$\eta<1$。这为深度学习中跳跃连接的有效性提供了理论解释。