关于自适应梯度的分布性质
机器学习
2021-05-18 v1 机器学习
摘要
自适应梯度方法在训练深度神经网络的各种任务上取得了显著成功。然而，关于这类方法的数学与统计性质所知甚少。本工作旨在提供一系列由其实验所佐证的理论分析，以研究其统计性质。特别地，我们展示当底层梯度服从正态分布式，更新（update）幅度的方差是时间的一个递增且有界函数，并且不发散。本工作表明，方差发散并非 Adam 优化器需要预热（warm up）的原因，这与当前文献中的认识相反。
引用
@article{arxiv.2105.07222,
title = {On the Distributional Properties of Adaptive Gradients},
author = {Zhang Zhiyi and Liu Ziyin},
journal= {arXiv preprint arXiv:2105.07222},
year = {2021}
}