超越线性模式连通性：逐层线性特征连通性
机器学习
2023-11-14 v2 人工智能
计算机视觉与模式识别
摘要
近期工作揭示了神经网络训练中的许多引人入胜的经验现象，尽管其损失景观与训练动力学理解甚少且高度复杂。其中，线性模式连通性（LMC）这一现象引起了相当关注，因为有趣地观察到不同解可在参数空间中由线性路径连接，同时保持近乎恒定的训练与测试损失。本工作中，我们引入一种更强的线性连通性概念——逐层线性特征连通性（LLFC），即不同训练网络的每一层特征图也呈线性连通。我们提供了跨广泛设置的 LLFC 综合经验证据，表明只要两个训练网络满足 LMC（通过 spawning 或置换方法），它们就几乎在所有的层满足 LLFC。此外，我们深入探究促成 LLFC 的潜在因素，从而揭示关于 spawning 与置换方法的新见解。LLFC 的研究通过采用特征学习的视角，超越并推进了我们对 LMC 的理解。
引用
@article{arxiv.2307.08286,
title = {Going Beyond Linear Mode Connectivity: The Layerwise Linear Feature Connectivity},
author = {Zhanpeng Zhou and Yongyi Yang and Xiaojiang Yang and Junchi Yan and Wei Hu},
journal= {arXiv preprint arXiv:2307.08286},
year = {2023}
}
备注
25 pages, 23 figures