打开黑箱：通过正则化内部求解器启发式方法加速神经微分方程

机器学习的普及化需要能够自动适应新问题的架构。神经微分方程（NDEs）已成为一种流行的建模框架，它免除了 ML 从业者选择循环模型层数的需要。虽然我们可以通过选择标准架构中的层数来控制计算成本，但在 NDEs 中，前向传播的神经网络评估次数可能取决于自适应 ODE 求解器的步数。但是，我们能否迫使 NDE 学习步数最少的版本，同时不增加训练成本？当前克服慢速预测的策略需要高阶自动微分，导致训练时间显著增加。我们描述了一种新颖的正则化方法，该方法利用自适应微分方程求解器的内部代价启发式方法与离散伴随敏感度相结合，引导训练过程学习更易求解的 NDEs。该方法打开了微分方程求解器算法背后的黑箱数值分析，并直接将其局部误差估计和刚性启发式用作廉价而准确的代价估计。我们在不改变底层 NDE 框架的情况下纳入了我们的方法，并展示了我们的方法超越常微分方程，可适用于神经随机微分方程。我们展示了我们的方法如何将预测时间减半，并且与其他可能使训练时间增加一个数量级的方法不同，我们展示了训练时间的类似缩减。总之，这展示了最先进方程求解器中嵌入的知识如何用于增强机器学习。