AdamD:改进 Adam 中的偏差校正
机器学习
2021-10-25 v2
摘要
在此,我对 Adam 优化器中的偏差校正项提出了一个小更新,其优势在于在训练的前几步中使梯度更新更小。采用默认的偏差校正时,Adam 在训练早期实际上可能做出大于所要求的梯度更新。通过仅包含对二阶矩梯度估计 的有充分依据的偏差校正,并排除对一阶估计 的偏差校正,我们在最初的一系列步骤中获得了这些更理想的梯度更新特性。Adam 的默认实现可能对超参数 如此敏感,部分归因于最初提出的偏差校正流程,以及其在早期步骤中的行为。
引用
@article{arxiv.2110.10828,
title = {AdamD: Improved bias-correction in Adam},
author = {John St John},
journal= {arXiv preprint arXiv:2110.10828},
year = {2021}
}
备注
8 pages, 1 figure