将神经微分方程与预训练神经微分算子结合用于学习动力学

学习由微分方程支配的动力学对于预测和控制科学与工程中的系统至关重要。神经常微分方程（Neural Ordinary Differential Equation, NODE）作为一种与微分方程相融合的深度学习模型，近年来因对不规则样本的鲁棒性以及对高维输入的灵活性，在学习动力学方面广受欢迎。然而，NODE 的训练对数值求解器的精度十分敏感，这使得 NODE 的收敛不稳定，尤其是对于病态动力系统。本文为降低对数值求解器的依赖，提出在 NODE 训练中增强监督信号。具体而言，我们预训练一个神经微分算子（neural differential operator, NDO）以输出导数估计，作为额外的监督信号。该 NDO 在一类基函数上预训练，学习这些函数的轨迹样本到其导数之间的映射。为同时利用轨迹信号与 NDO 估计的导数，我们提出一种称为 NDO-NODE 的算法，其损失函数包含两项：对真实轨迹样本的拟合项，以及对预训练 NDO 所输出估计导数的拟合项。在多种动力学上的实验表明，我们所提出的 NDO-NODE 借助一个预训练 NDO 可一致地提升预测精度。特别是对于刚性 ODE，我们观察到与其他正则化方法相比，NDO-NODE 能更准确地捕捉动力学中的跃迁。