权重向量的低损失连接：基于分布的方法
机器学习
2020-08-04 v1 神经与进化计算
机器学习
摘要
近期研究表明，过参数化网络损失曲面的下水平集是连通的，精确或近似地。我们描述并通过实验比较了一组用于在该曲面上以低损失曲线连接两个低损失点的方法。我们的方法在精度和复杂度上各异。多数方法基于“宏观”分布假设，且有些对欲连接点的详细性质不敏感。某些方法需要先训练一个“全局连接模型”，之后可应用于任意点对。方法的精度通常与其复杂度及对端点细节的敏感度相关。
引用
@article{arxiv.2008.00741,
title = {Low-loss connection of weight vectors: distribution-based approaches},
author = {Ivan Anokhin and Dmitry Yarotsky},
journal= {arXiv preprint arXiv:2008.00741},
year = {2020}
}
备注
accepted to ICML 2020