刚性神经微分方程的消失梯度问题

梯度优化神经微分方程及其他参数化动力学系统根本依赖于能够相对于模型参数对数值解进行微分。在刚性系统中，人们观察到对控制快速衰减模式的参数敏感性在训练过程中变得微乎其微，这导致优化困难。本文表明，这一消失梯度现象并非特定方法的副作用，而是所有 A-stable 和 L-stable 刚性数值积分方案的普遍特征。我们分析了一般刚性积分方案的有理稳定函数，并演示相关参数敏感性（由稳定函数的导数控制）随刚性程度增大而趋于零。提供了常见刚性积分方案的显式公式，详细说明了该机制。最后，我们严格证明了稳定函数导数的衰减速率的最慢可能速度为 $O(|z|^{-1})$，揭示了根本性限制：所有 A-stable 时间步进方法在刚性 regime 下必然抑制参数梯度，这构成了刚性神经 ODE 训练和参数识别的重大障碍。