通过最小权重扰动提高神经ODE稳健性

我们提出了一种方法，通过减少初始值扰动后的最大误差增长来增强神经常微分方程（neural ODE）的稳定性。由于稳定性取决于与神经ODE相关的雅可比矩阵的对数范数，我们通过对神经ODE的权重矩阵进行最小扰动（以弗罗贝尼乃斯范数衡量）来控制对数范数。为此，我们采用特征值优化问题，并提出了一种嵌套的两层算法。对于给定的权重矩阵扰动大小，内层计算该大小的最优扰动；而在外层，我们调节扰动幅度以实现所需的均匀稳定性界限。我们将所提算法嵌入神经ODE的训练中，以提高其对初始值扰动的鲁棒性，如对抗性攻击。在经典图像数据集上的数值实验表明，采用我们策略训练的包含神经ODE的图像分类器比传统方式训练的分类器更稳定，因此更具鲁棒性，抗性更强。