修正神经ODE训练中的自动微分
机器学习
2026-03-31 v3 数值分析
数值分析
摘要
使用自动微分是否为深度神经网络(DNNs)提供了合理的更新?具体而言,当DNNs被设计为遵循神经ODE架构时,我们能否信任自动微分给出的梯度?通过数学分析与数值证据,我们证明当神经网络采用高阶方法(如线性多步法(LMM)或显式龙格-库塔法(ERK))来近似底层ODE流时,暴力自动微分常在梯度中引入人为振荡,从而阻碍收敛。对于蛙跳法与2阶ERK,我们提出了简单的后处理技术,能有效消除这些振荡,修正梯度计算,从而返回准确的更新。
引用
@article{arxiv.2306.02192,
title = {Correcting Auto-Differentiation in Neural-ODE Training},
author = {Yewei Xu and Shi Chen and Qin Li},
journal= {arXiv preprint arXiv:2306.02192},
year = {2026}
}
备注
Accepted for publication in SIAM Journal on Applied Mathematics. This version corresponds to the final draft, prior to copyediting and production