“嘿，那不是ODE”：通过半范数加速ODE伴随方程
机器学习
2021-05-11 v2 经典分析与常微分方程
摘要
神经微分方程可通过伴随方法反向传播梯度进行训练，该伴随方法本身是另一个微分方程，通常使用自适应步长的数值微分方程求解器求解。若所提议步长的误差（相对于某种范数）足够小，则该步被接受；否则被拒绝，步长缩小并重复该过程。在此，我们证明伴随方程的特殊结构使得通常的范数选择（如 ）过于严格。通过将其替换为更合适的（半）范数，可减少不必要的步长拒绝，从而加速反向传播。这仅需对代码做微小修改。在广泛任务（包括时间序列、生成建模和物理控制）上的实验表明，函数求值次数中位数减少了 40%。在某些问题上，函数求值次数减少多达 62%，从而使整体训练时间大致减半。
引用
@article{arxiv.2009.09457,
title = {"Hey, that's not an ODE": Faster ODE Adjoints via Seminorms},
author = {Patrick Kidger and Ricky T. Q. Chen and Terry Lyons},
journal= {arXiv preprint arXiv:2009.09457},
year = {2021}
}
备注
Published at ICML 2021