特征值引导的神经常微分方程：应对神经常微分方程的稳定性与收敛问题

使用原始 NeuralODE 对大型和/或复杂系统建模常因两个原因而失败：稳定性与收敛性。NeuralODE 能够描述稳定及不稳定动态系统。选择合适的数值求解器并非易事，因为 NeuralODE 的性质在训练过程中会改变。若 NeuralODE 变得更刚性，次优求解器可能需采用极小的求解步长，显著拖慢训练。若 NeuralODE 变得过于不稳定，数值求解器可能根本无法求解，导致训练终止。通常的应对是选择对不稳定和刚性 ODE 鲁棒但计算昂贵的求解器，代价是训练性能显著下降。我们的方法则允许强制施加适配特定求解器或应用相关边界条件的 ODE 性质。关于收敛行为，NeuralODE 常陷入局部极小，尤其当待学习系统高度动态和/或跨多个周期振荡时。由于局部极小处梯度消失，NeuralODE 常无法跳出并收敛到正确解。我们提出一种基于特征值（如（部分）稳定性、振荡能力、频率、阻尼和/或刚性）将 ODE 性质知识加入 NeuralODE 训练目标的技术。我们在线性与非线性系统模型上例证了该方法，表明所提训练过程对局部极小、不稳定和稀疏数据样本远为鲁棒，并改善了训练收敛与性能。