将 Barzilai-Borwein 自适应步长引入深度网络训练的梯度下降方法
机器学习
2022-05-30 v1
摘要
在本文中，我们将 Barzilai-Borwein 步长引入用于训练深度网络的梯度下降方法中。这使我们能够利用基于拟牛顿法的割线方程的两点近似来自适应调整学习率。此外，此处提出的自适应学习率方法性质上相当通用，可应用于广泛使用的梯度下降方法，如 Adagrad 和 RMSprop。我们使用标准示例网络架构在公开可用数据集上评估了我们的方法，并与文献中其他方案进行比较。在我们的实验中，我们的自适应学习率展现出比对比方法更平滑且更快的收敛，并具有更优或相当的性能。
引用
@article{arxiv.2205.13711,
title = {Incorporating the Barzilai-Borwein Adaptive Step Size into Sugradient Methods for Deep Network Training},
author = {Antonio Robles-Kelly and Asef Nazari},
journal= {arXiv preprint arXiv:2205.13711},
year = {2022}
}