局部正则化神经微分方程：有些黑箱本应保持封闭！

隐式层深度学习技术，如神经微分方程，因其能自动适应新问题已成为重要的建模框架。训练神经微分方程实质上是在一组合理动力系统空间中进行搜索。然而，由于依赖自适应求解器所采取的步数，控制这些模型的计算成本十分困难。多数已有工作使用高阶方法以减少预测耗时，却大幅增加了训练时间；或依赖特定训练算法同时减少训练与预测耗时，但因对自动微分有严格要求而难以作为即插即用替代。在本文中，我们利用自适应微分方程求解器在随机时间点的内部代价启发式，引导训练学习更易积分的动力系统。我们“封闭黑箱”，使我们的方法可与任意伴随技术结合用于微分方程解的梯度计算。我们开展实验研究，将方法与全局正则化比较，表明我们在不牺牲常微分方程（ODEs）与随机微分方程（SDEs）实现灵活性的前提下取得了相近性能。我们开发了两种采样策略以权衡性能与训练时间。我们的方法将函数求值次数降至 0.556–0.733 倍，并将预测加速 1.3–2 倍。