Mechanic：一种学习率调节器
机器学习
2023-06-05 v2
摘要
我们引入一种自动调节任意基础优化算法与调度学习率缩放因子的技术，称之为 \textsc{mechanic}。我们的方法为近期在线凸优化中达成类似目标的理论归约提供了实际实现。我们在一系列具有不同批量大小、调度和基础优化算法的大规模深度学习任务上严格评估了 \textsc{mechanic}。这些实验表明，视问题而定，\textsc{mechanic} 在手动调节学习率方面要么非常接近、要么匹配甚至有所超越。
引用
@article{arxiv.2306.00144,
title = {Mechanic: A Learning Rate Tuner},
author = {Ashok Cutkosky and Aaron Defazio and Harsh Mehta},
journal= {arXiv preprint arXiv:2306.00144},
year = {2023}
}