通过最优传输证明神经网络的线性模式连通性

高维非凸优化问题的能量景观对于理解现代深度神经网络架构的有效性至关重要。近期工作通过实验表明，两次随机训练运行后得到的两个不同解，常由非常简单的连续路径（例如线性路径）连接，模一个权重的置换。在本文中，我们提供了一个从理论上解释这一经验观察的框架。基于经验测度在 Wasserstein 距离下的收敛速率，我们证明：以高概率，两个用随机梯度下降训练的、足够宽的两层神经网络是线性连通的。此外，我们给出了具有独立神经元权重的深度神经网络各层宽度的上下界，使其线性连通。最后，我们通过展示决定 Wasserstein 收敛速率的神经元权重分布支撑集维度与线性模式连通性相关，实证证明了我们方法的有效性。