AdamNODEs：当神经ODE遇见自适应矩估计
机器学习
2022-07-14 v1 人工智能
摘要
Xia等人近期利用经典动量加速梯度下降的连续极限，提出了重球神经ODE。尽管该模型相比原始神经ODE具有计算效率和较高实用性，但这种方法常导致内部动力学的过冲，引起模型训练不稳定。先前工作通过特设方法解决此问题，例如使用特定激活函数限制内部动力学，但所得模型并不满足精确的重球ODE。本工作中，我们提出自适应矩估计神经ODE(AdamNODEs)，其自适应地控制基于经典动量的方法的加速度。我们发现其伴随状态也满足AdamODE，且不需要先前工作采用的特设解。在评估中，我们表明AdamNODEs相比现有神经ODE取得了最低的训练损失和效能。我们还表明AdamNODEs比经典基于动量的神经ODE具有更好的训练稳定性。该结果为将优化社区提出的技术用于进一步改进神经ODE的训练和推理提供了一些启示。我们的代码可在 https://github.com/pmcsh04/AdamNODE 获取。
引用
@article{arxiv.2207.06066,
title = {AdamNODEs: When Neural ODE Meets Adaptive Moment Estimation},
author = {Suneghyeon Cho and Sanghyun Hong and Kookjin Lee and Noseong Park},
journal= {arXiv preprint arXiv:2207.06066},
year = {2022}
}