关于神经常微分方程网络伴随方法的一点注记
数值分析
2024-02-26 v1 机器学习
数值分析
摘要
利用扰动和算子伴随方法严格给出了正确的伴随形式。从推导中我们可以得到以下结果：1) 损失梯度不是一个常微分方程（ODE），而是一个积分，我们展示了其原因；2) 传统的伴随形式与反向传播结果不等价。3) 伴随算子分析表明，当且仅当离散伴随与离散神经 ODE 具有相同的格式时，伴随形式才会给出与反向传播（BP）相同的结果。
引用
@article{arxiv.2402.15141,
title = {A note on the adjoint method for neural ordinary differential equation network},
author = {Pipi Hu},
journal= {arXiv preprint arXiv:2402.15141},
year = {2024}
}