中文

AdamD:改进 Adam 中的偏差校正

机器学习 2021-10-25 v2

摘要

在此,我对 Adam 优化器中的偏差校正项提出了一个小更新,其优势在于在训练的前几步中使梯度更新更小。采用默认的偏差校正时,Adam 在训练早期实际上可能做出大于所要求的梯度更新。通过仅包含对二阶矩梯度估计 vtv_t 的有充分依据的偏差校正,并排除对一阶估计 mtm_t 的偏差校正,我们在最初的一系列步骤中获得了这些更理想的梯度更新特性。Adam 的默认实现可能对超参数 β1,β2\beta_1, \beta_2 如此敏感,部分归因于最初提出的偏差校正流程,以及其在早期步骤中的行为。

关键词

引用

@article{arxiv.2110.10828,
  title  = {AdamD: Improved bias-correction in Adam},
  author = {John St John},
  journal= {arXiv preprint arXiv:2110.10828},
  year   = {2021}
}

备注

8 pages, 1 figure