无妥协的自适应性：一种用于随机优化的动量化、自适应、双重平均梯度方法
机器学习
2021-08-27 v3 人工智能
最优化与控制
摘要
我们提出MADGRAD，一种属于AdaGrad自适应梯度方法家族的新型优化方法。MADGRAD在来自多个领域的深度学习优化问题上表现出色，包括视觉中的分类与图像到图像任务，以及自然语言处理中的循环与双向掩码模型。对于这些任务中的每一项，MADGRAD在测试集性能上匹配或超越SGD与ADAM，即便在自适应方法通常表现不佳的问题上亦然。
引用
@article{arxiv.2101.11075,
title = {Adaptivity without Compromise: A Momentumized, Adaptive, Dual Averaged Gradient Method for Stochastic Optimization},
author = {Aaron Defazio and Samy Jelassi},
journal= {arXiv preprint arXiv:2101.11075},
year = {2021}
}