利用临界动量促进记忆增强型 Adam 的探索
机器学习
2024-06-19 v2 人工智能
摘要
基于自适应梯度的优化器，尤其是 Adam，在训练大规模深度学习模型中留下了印记，提供了快速收敛和对超参数设置的鲁棒性。然而，它们常面临泛化困难，这归因于其倾向于收敛到损失景观中的尖锐极小点。为此，我们提出一种新的记忆增强版 Adam，通过在训练中引入临界动量项缓冲区来鼓励向更平坦极小点探索。该缓冲区促使优化器越过狭窄极小点，促进探索。通过在简单设定下的综合分析，我们阐明了该方法在增强探索及偏向平坦极小点方面的有效性。我们经实证证明，它可提升图像分类（ImageNet 与 CIFAR10/100）、语言建模（Penn Treebank）以及在线学习任务（TinyImageNet 与 5-dataset）上的模型性能。我们的代码见 \url{https://github.com/chandar-lab/CMOptimizer}。
引用
@article{arxiv.2307.09638,
title = {Promoting Exploration in Memory-Augmented Adam using Critical Momenta},
author = {Pranshu Malviya and Gonçalo Mordido and Aristide Baratin and Reza Babanezhad Harikandeh and Jerry Huang and Simon Lacoste-Julien and Razvan Pascanu and Sarath Chandar},
journal= {arXiv preprint arXiv:2307.09638},
year = {2024}
}
备注
Published in Transactions on Machine Learning Research