关于 Adam 中的高阶矩
机器学习
2019-10-16 v1 机器学习
摘要
本文中，我们从统计矩的角度研究流行的深度学习优化例程 Adam。虽然 Adam 是基于（随机梯度的）自适应低阶矩的方法，我们提出一种扩展，即 HAdam，其使用随机梯度的更高阶矩。我们的分析和实验表明，随机梯度的某些高阶矩能够比原始 Adam 算法取得更好的性能。我们还提供了一些与奇偶矩相关的 HAdam 分析，以解释一些引人好奇且看似不直观的经验结果。
引用
@article{arxiv.1910.06878,
title = {On Higher-order Moments in Adam},
author = {Zhanhong Jiang and Aditya Balu and Sin Yong Tan and Young M Lee and Chinmay Hegde and Soumik Sarkar},
journal= {arXiv preprint arXiv:1910.06878},
year = {2019}
}
备注
Accepted in Beyond First Order Methods in Machine Learning workshop in 33rd Conference on Neural Information Processing Systems (NeurIPS 2019), Vancouver, Canada