BFE 与 AdaBFE：随机优化中学习率自动化的新方法
机器学习
2022-07-07 v1 最优化与控制
摘要
本文提出一种通过自动调整学习率实现的基于梯度的优化新方法。该方法可用于设计非自适应学习率与自适应学习率。首先，我将介绍非自适应学习率优化方法：Binary Forward Exploration (BFE，二元前向探索)，进而可发展相应的自适应逐参数学习率方法：Adaptive BFE (AdaBFE，自适应 BFE)。除当前非自适应学习率方法（如 SGD、momentum、Nesterov）与自适应学习率方法（如 AdaGrad、AdaDelta、Adam 等）之外，该方法可成为基于随机梯度下降 (SGD) 算法优化学习率的另一种替代方案。开发此方法的目的并非击败其他方法的基准，而仅为提供一种优化梯度下降方法的不同视角，尽管后续章节将与此前方法做一些比较研究。期望该方法具有启发性，或能启发研究者结合先前方法改进基于梯度的优化。
引用
@article{arxiv.2207.02763,
title = {BFE and AdaBFE: A New Approach in Learning Rate Automation for Stochastic Optimization},
author = {Xin Cao},
journal= {arXiv preprint arXiv:2207.02763},
year = {2022}
}