解耦线性模式连通性
机器学习
2023-12-18 v1
摘要
线性模式连通性（LMC）（或其缺失）是神经网络损失景观的引人注目的特征之一。尽管在经验上已得到充分确立，但遗憾的是它仍然缺乏适当的理论理解。更糟糕的是，尽管有大量的经验数据，但文献中在很大程度上缺乏对网络何时表现出 LMC 的系统性研究。在这项工作中，我们旨在弥补这一差距。我们探讨了 LMC 如何受到三个因素的影响：（1）架构（稀疏性、权重共享），（2）训练策略（优化设置）以及（3）底层数据集。我们特别强调最小但非平凡的设置，尽可能去除不必要复杂性。我们相信，我们的见解可以指导未来关于揭示 LMC 内部机制的理论工作。
引用
@article{arxiv.2312.09832,
title = {Disentangling Linear Mode-Connectivity},
author = {Gul Sena Altintas and Gregor Bachmann and Lorenzo Noci and Thomas Hofmann},
journal= {arXiv preprint arXiv:2312.09832},
year = {2023}
}
备注
9 pages, 5 figures