学习率退火可证明有助于泛化，即便对凸问题亦然
机器学习
2020-05-18 v1 神经与进化计算
机器学习
摘要
学习率调度在现代神经网络中会显著影响泛化性能，但其原因尚不清楚。Li-Wei-Ma (2019) 最近在一个简化的非凸神经网络设定下证明了这种行为可能存在。在本札记中，我们表明该现象即便对凸学习问题也存在——具体而言，即二维线性回归。我们给出一个玩具凸问题，其中学习率退火（先大后小的学习率）可引导梯度下降到达泛化性能可证明优于全程使用小学习率的极小点。在我们的例子中，这是由于测试与训练损失景观之间的不匹配以及早停共同作用所致。
引用
@article{arxiv.2005.07360,
title = {Learning Rate Annealing Can Provably Help Generalization, Even for Convex Problems},
author = {Preetum Nakkiran},
journal= {arXiv preprint arXiv:2005.07360},
year = {2020}
}
备注
4 pages plus appendix