贝叶斯滤波统一了自适应与非自适应神经网络优化方法
机器学习
2020-04-17 v5 机器学习
摘要
我们将神经网络优化问题表述为贝叶斯滤波，其中观测值为反向传播的梯度。尽管此前已使用与自然梯度方法（与贝叶斯推断密切相关）研究过神经网络优化，但它们未能恢复带有均方根梯度归一化器的标准优化器如 Adam 和 RMSprop，而是得到了均方归一化器。为了恢复均方根归一化器，我们发现有必要考虑所有其他参数在优化过程中的时间动态。所得的优化器 AdaBayes 自适应地在类 SGD 与类 Adam 行为之间过渡，自动恢复 AdamW（一种带有解耦权重衰减的先进 Adam 变体），并且具有与 SGD 竞争的泛化性能。
引用
@article{arxiv.1807.07540,
title = {Bayesian filtering unifies adaptive and non-adaptive neural network optimization methods},
author = {Laurence Aitchison},
journal= {arXiv preprint arXiv:1807.07540},
year = {2020}
}