一种用于学习优化器的简单守卫
机器学习
2022-09-20 v3 神经与进化计算
最优化与控制
摘要
若学习组件最终超越手工设计版本的趋势延续，学习优化器终将超越SGD或Adam等手工优化器。然而，即便学习优化器（L2O）在实践中最终超越手工优化器，它们仍无收敛性证明，且可能分布外失效。这些正是本文所探讨的问题。当前，学习优化器常在学习的初始阶段超越通用手工优化器（如梯度下降），但一般在一段时间后陷入停滞，而通用算法持续进展并常如伊索寓言中乌龟超越兔子般反超学习算法。L2O在分布外泛化方面也仍困难。Heaton等人提出Safeguarded L2O（GL2O），其可将学习优化器与通用学习算法守卫结合，通过有条件地在二者间切换，使所得算法具有收敛性证明。我们提出一类新的Safeguarded L2O，称为Loss-Guarded L2O（LGL2O），其在概念上更简单且计算开销更低。该守卫机制仅基于两优化器的期望未来损失值做决策。此外，我们给出LGL2O收敛保证的理论证明，以及与GL2O和其他基线的实证对比，表明其结合了L2O与SGD二者之长，且实践中收敛性远优于GL2O。
引用
@article{arxiv.2201.12426,
title = {A Simple Guard for Learned Optimizers},
author = {Isabeau Prémont-Schwarz and Jaroslav Vítků and Jan Feyereisl},
journal= {arXiv preprint arXiv:2201.12426},
year = {2022}
}
备注
8 pages main article, 19 figures total, 2 pages of references, 7 pages of appendix. ICML 2022. Added Appendix Section H with extra experiments about stability