通过收缩性正则化实现鲁棒卷积神经ODE

神经网络对输入噪声和对抗性攻击极其脆弱。本工作考察卷积神经常微分方程（NODE），这是一类由 dynamical system 表示的连续深度神经网络，提出使用收缩理论来提高其鲁棒性。对于一个收缩 dynamical system，两个起始条件不同的轨迹会以指数级速度收敛。收缩卷积 NODE 能够因轻微扰动特征不会导致显著输出变化，从而获得 increased 鲁棒性。通过使用涉及系统动力学 Jacobian 的正则化项，可在训练期间实现收缩。为降低计算负担，我们展示也可通过针对具有斜率受限激活函数的 NODE 系列选取恰当的 weight 正则化项来实现收缩。我们通过在 MNIST 和 FashionMNIST 数据集上的基准图像分类任务展示所提出正则化器的性能，其中图像被各种噪声和攻击捕获。