Neural SDE：用随机噪声稳定 Neural ODE 网络
机器学习
2019-06-07 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
Neural Ordinary Differential Equation (Neural ODE) 已被提出作为 ResNet 架构的连续近似。当前 Neural ODE 网络中缺失了离散神经网络一些常用的正则化机制（例如 dropout、高斯噪声）。在本文中，我们提出一种称为 Neural Stochastic Differential Equation (Neural SDE) 网络的新连续神经网络框架，它基于随机噪声注入自然融合了多种常用的正则化机制。我们的框架可以建模离散网络中常用于正则化目的的各种类型的噪声注入，例如每个块中的 dropout 与加性/乘性噪声。我们提供理论分析，解释 Neural SDE 模型对输入扰动/对抗攻击鲁棒性提升的原因。此外，我们证明 Neural SDE 网络能比 Neural ODE 取得更好的泛化性能，并且对对抗与非对抗输入扰动更具抵抗力。
关键词
引用
@article{arxiv.1906.02355,
title = {Neural SDE: Stabilizing Neural ODE Networks with Stochastic Noise},
author = {Xuanqing Liu and Tesi Xiao and Si Si and Qin Cao and Sanjiv Kumar and Cho-Jui Hsieh},
journal= {arXiv preprint arXiv:1906.02355},
year = {2019}
}