通过逐层连通性连接独立训练的模式
机器学习
2026-05-29 v5
摘要
实证研究表明，在独立训练的神经网络模型之间可以构建连续的低损失路径。这种现象被称为模式连通性，指的是参数空间中不同模式（即训练良好的解）之间存在此类路径。然而，现有的实证方法并不能可靠地连接独立训练的模式，并且主要在有限的架构集（例如，基本的CNN、VGG和ResNet）上进行评估，这使得它们在新模型上的有效性尚不明确。在这项工作中，我们提出了一种新的经验算法，用于连接独立训练的模式，该算法能推广到传统架构之外，并支持更广泛的网络，包括MobileNet、ShuffleNet、EfficientNet、RegNet、深度层聚合（DLA）和紧凑卷积Transformer（CCT）。除了更广泛的适用性外，所提出的方法在独立训练的模式对之间产生了更一致的连通路径，并支持连接使用不同训练超参数获得的模式。
引用
@article{arxiv.2505.02604,
title = {Connecting Independently Trained Modes via Layer-Wise Connectivity},
author = {Yongding Tian and Zaid Al-Ars and Maksim Kitsak and Peter Hofstee},
journal= {arXiv preprint arXiv:2505.02604},
year = {2026}
}
备注
28 pages, 22 figures, accepted in ICML 2026: https://openreview.net/forum?id=4VOTzpH9MO