利用周期性学习率探索损失函数拓扑
机器学习
2017-02-15 v1 神经与进化计算
摘要
我们提出在训练残差网络时发现的先前未报道现象的观察和讨论。这项工作的目标是通过检查这些新经验结果来更好地理解神经网络的本质。这些行为是通过应用周期性学习率（CLR）和线性网络插值识别的。这些行为包括训练损失的违反直觉的增减以及快速训练的实例。例如，我们展示了尽管使用大学习率，CLR如何能产生比传统训练更高的测试精度。复现这些结果的文件可在 https://github.com/lnsmith54/exploring-loss 获取。
引用
@article{arxiv.1702.04283,
title = {Exploring loss function topology with cyclical learning rates},
author = {Leslie N. Smith and Nicholay Topin},
journal= {arXiv preprint arXiv:1702.04283},
year = {2017}
}
备注
Submitted as an ICLR 2017 Workshop paper