关于神经常微分方程的鲁棒性
机器学习
2022-03-04 v4 机器学习
摘要
神经常微分方程（ODEs）近来在各个研究领域吸引了越来越多的关注。已有一些工作研究神经 ODE 的优化问题和逼近能力，但其鲁棒性仍不清楚。在本工作中，我们通过实证和理论探索神经 ODE 的鲁棒性属性，填补了这一重要空白。我们首先通过对基于神经 ODE 的网络（ODENets）施加各类扰动输入并随后考察相应输出的变化，对其鲁棒性进行实证研究。与常规卷积神经网络（CNNs）相比，我们发现 ODENets 对随机高斯扰动和对抗攻击样本都更具鲁棒性。接着，我们通过利用连续时间 ODE 流的一种理想性质（即积分曲线不相交）对这一现象提供了深入的理解。我们的工作表明，由于其内在鲁棒性，使用神经 ODE 作为构建鲁棒深度网络模型的基本模块是有前景的。为了进一步增强原始神经 ODE 的鲁棒性，我们提出了时间不变稳态神经 ODE（TisODE），其通过时间不变性质和对稳态约束的施加来正则化扰动数据上的流。我们展示了 TisODE 方法优于原始神经 ODE，并且可与其他最先进的架构方法结合使用以构建更鲁棒的深度网络。
引用
@article{arxiv.1910.05513,
title = {On Robustness of Neural Ordinary Differential Equations},
author = {Hanshu Yan and Jiawei Du and Vincent Y. F. Tan and Jiashi Feng},
journal= {arXiv preprint arXiv:1910.05513},
year = {2022}
}