元正则化：梯度下降中学习率自适应选择的一种方法
机器学习
2021-04-13 v1
摘要
我们提出 \textit{Meta-Regularization}（元正则化），一种用于一阶梯度下降方法中学习率自适应选择的新型方法。我们的方法通过添加关于学习率的正则化项来修正目标函数，并将参数与学习率的联合更新过程转化为一个极大极小问题。给定任意正则化项，我们的方法有助于生成实用算法。当 \textit{Meta-Regularization} 取 -散度作为正则化项时，所得算法与其他一阶基于梯度的算法具有可比的理论收敛性能。此外，我们从理论上证明一些精心设计的 regularizer 可在目标函数的强凸条件下改善收敛性能。在基准问题上的数值实验证明了由一些常见 -散度导出的算法在全批量及在线学习设置中的有效性。
引用
@article{arxiv.2104.05447,
title = {Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent},
author = {Guangzeng Xie and Hao Jin and Dachao Lin and Zhihua Zhang},
journal= {arXiv preprint arXiv:2104.05447},
year = {2021}
}