Neograd：近理想梯度下降
机器学习
2021-08-04 v4
摘要
本文旨在通过解决两个问题来改进现有的梯度下降变体：（1）消除（或减弱）最小化代价函数时出现的平台期，（2）持续将学习率调整至“理想”值。所采取的方法是将学习率近似求解为信任度量的函数。当该技术与动量结合时，它产生了一种特别有效的梯度下降变体，称为 NeogradM。结果表明，其在多个测试问题上优于 Adam，并且例如可轻易达到小出 倍的代价函数值。
引用
@article{arxiv.2010.07873,
title = {Neograd: Near-Ideal Gradient Descent},
author = {Michael F. Zimmer},
journal= {arXiv preprint arXiv:2010.07873},
year = {2021}
}
备注
23 pages, 13 figures; preprint