描绘线性模式连接性

在神经网络的特定情况下，两种不同网络解决方案之间存在线性路径，即线性模式连接性（LMC），已在理论和实践前沿引起广泛关注。已有大量研究要么设计针对网络的算法，通过调整置换对称性来实现连接，要么更理论化地构造可实现连接的路径。然而，LMC 出现的核心原因——尤其是当它真正发生时——在神经网络高度非凸损失景观中仍不清晰。本文致力于理解这一现象，通过提供一种模型，说明损失景观在何种拓扑结构下才能实现 LMC（或其缺失）。具体而言，我们提出一种“山坡与山脊”视角，帮助将不同训练过程中损失景观中可见的几何特征整合起来。我们还通过提供屏障高度的理论分析，补充了这一视角，并提供经验支持，进一步扩展为可靠的层级 LMC 预测器。我们以一个 toy example 进一步直观地展示了屏障如何产生的机制，总体而言，展示了本工作的更大目标——为 LMC 的发生提供一个可工作的景观模型及其拓扑结构。