利用模式连通性进行损失景观分析
机器学习
2018-06-20 v1 机器学习
摘要
模式连通性是一个近期提出的框架，它通过寻找两条独立训练模型之间的高准确率曲线，从经验上确立了极小值的连通性。为探究该设置的局限，我们在输入模型训练方式或初始化方式不同的极端情况下检验了该技术的有效性。我们发现该过程对此类变化具有鲁棒性。基于这一发现，我们提出将该框架更普遍地用于分析损失曲面和训练轨迹，并沿此方向研究了带余弦退火与重启的 SGD（SGDR）。我们报告称，尽管 SGDR 在其轨迹中越过了势垒，但声称其收敛于并逃离多个局部极小值的论断并未得到我们经验结果的支持。
引用
@article{arxiv.1806.06977,
title = {Using Mode Connectivity for Loss Landscape Analysis},
author = {Akhilesh Gotmare and Nitish Shirish Keskar and Caiming Xiong and Richard Socher},
journal= {arXiv preprint arXiv:1806.06977},
year = {2018}
}
备注
Accepted as a workshop paper at ICML's Workshop on Modern Trends in Nonconvex Optimization for Machine Learning, 2018