测地模式连通性
机器学习
2023-08-25 v1 机器学习
摘要
模式连通性是指训练得到的模型被一条低损失路径所连接的现象。我们在信息几何的框架下重新审视这一问题，该框架将神经网络视为具有弯曲几何结构的参数化分布空间。我们假设这些空间中的最短路径（即测地线）对应于损失景观中连接模式的路径。我们提出了一种近似测地线的算法，并证明它们能够实现模式连通性。
引用
@article{arxiv.2308.12666,
title = {Geodesic Mode Connectivity},
author = {Charlie Tan and Theodore Long and Sarah Zhao and Rudolf Laine},
journal= {arXiv preprint arXiv:2308.12666},
year = {2023}
}
备注
Published as a TinyPaper at ICLR 2023