混合ADAM与SGD：一种组合优化方法
机器学习
2020-11-17 v1 最优化与控制
摘要
在深度学习领域，优化方法(优化器)因能高效训练神经网络而备受关注。文献中有许多论文比较使用不同优化器训练的神经模型。每篇论文都表明对于特定问题某优化器优于其他优化器，但问题改变后此类结论不再成立，必须从头开始。在本文中我们提议组合两种差异很大的优化器，同时使用时它们能在极不同问题上超越单一优化器的性能。我们提出一种称为MAS(Mixing ADAM and SGD)的新优化器，通过分配恒定权重权衡两者贡献，将SGD与ADAM同时整合。我们并非试图改进SGD或ADAM，而是同时利用二者，各取所长。我们在图像与文本文档分类上使用多种CNN进行了若干实验，并通过实验证明所提MAS优化器比单一SGD或ADAM优化器产生更好性能。源代码与所有实验结果可在以下链接在线获取：https://gitlab.com/nicolalandro/multi_optimizer
引用
@article{arxiv.2011.08042,
title = {Mixing ADAM and SGD: a Combined Optimization Method},
author = {Nicola Landro and Ignazio Gallo and Riccardo La Grassa},
journal= {arXiv preprint arXiv:2011.08042},
year = {2020}
}