提升与否：自主学习率问题
机器学习
2023-07-28 v3
摘要
在深度学习领域有一个无处不在的参数：学习率。同样也有一个无处不在的问题：该学习率应该取什么值？这一问题的真实答案往往繁琐且耗时才能获得，近年来积累了大量关于如何选取和调整学习率以实现最优训练性能的晦涩知识。此外，当你的网络架构、优化器、数据集或初始条件发生细微变化时，精心调配完美学习率所耗费的长久时间可能付诸东流。但事情本不必如此。我们为这一伟大的学习率问题提出一个新答案：自主学习率控制器(Autonomous Learning Rate Controller)。可在 https://github.com/fastestimator/ARC/tree/v2.0 找到它。
引用
@article{arxiv.2106.08767,
title = {To Raise or Not To Raise: The Autonomous Learning Rate Question},
author = {Xiaomeng Dong and Tao Tan and Michael Potter and Yun-Chan Tsai and Gaurav Kumar and V. Ratna Saripalli and Theodore Trafalis},
journal= {arXiv preprint arXiv:2106.08767},
year = {2023}
}