逐层线性模式连通性

平均神经网络参数是融合两个独立模型知识的一种直观方法。它在联邦学习中最常被使用。如果在训练结束时对模型取平均，只有当所关注的损失曲面非常特殊（即两模型中点处的损失需足够低）时，才能产生性能良好的模型。对于最先进网络的非凸损失，这无法保证。对于在差异极大的数据集上训练的模型取平均，已有研究提出仅对特定层或层组合的参数取平均，从而得到性能更好的模型。为更好地理解逐层平均的效果，我们分析了由平均单层或层组所产生的模型的性能。基于我们的实证与理论研究，我们引入了一种新颖的逐层线性连通性概念，并表明深度网络之间不存在逐层屏障。