论抑制 Adam 自适应步长范围以提升泛化性能
机器学习
2024-07-15 v3
摘要
近期若干自适应优化器通过本质上降低自适应步长的方差，使其更接近带动量的 SGD，从而改善了 Adam 的泛化性能。遵循上述动机，我们利用分层梯度统计量来抑制 Adam 自适应步长的范围。具体而言，在每次迭代中，我们提出在对第二动量 v_t 用于更新 DNN 模型之前对其执行三个连续操作：(1) 下缩放，(2) epsilon 嵌入，以及 (3) 下平移。所得算法称为 SET-Adam，其中 SET 为这三个操作的简记。对 v_t 的下缩放操作通过利用 v_t 的分层子向量与相应全一子向量之间的夹角逐层执行。大量实验结果表明，在 CIAF10 与 CIFAR100 上训练用于 NLP 的 transformer 与 LSTM，以及用于图像分类的 VGG 与 ResNet 时，SET-Adam 优于八种自适应优化器；而在训练用于图像生成任务的 WGAN-GP 模型时，其匹配这八种自适应方法中的最佳性能。此外，在 ImageNet 上训练 ResNet18 时，SET-Adam 比 Adam 与 AdaBelief 取得了更高的验证准确率。
引用
@article{arxiv.2302.01029,
title = {On Suppressing Range of Adaptive Stepsizes of Adam to Improve Generalisation Performance},
author = {Guoqiang Zhang},
journal= {arXiv preprint arXiv:2302.01029},
year = {2024}
}
备注
Accepted by ECML 2024. arXiv admin note: substantial text overlap with arXiv:2203.13273