基于收缩哈密顿神经ODE的鲁棒分类
机器学习
2022-07-12 v3
摘要
深度神经网络可能十分脆弱，对微小的输入扰动敏感，这些扰动可能导致输出发生显著变化。本文利用收缩理论提升神经ODE（NODEs）的鲁棒性。若一个动力系统的所有具有不同初值的解都以指数速度相互收敛，则该系统是收缩的。因此，初值扰动随时间推移变得愈发无关紧要。由于在NODEs中输入数据对应于动力系统的初值，我们表明收缩性可缓解输入扰动的影响。更确切地说，受具有哈密顿动力学的NODEs启发，我们提出一类收缩哈密顿NODEs（CH-NODEs）。通过适当调节一个标量参数，CH-NODEs从设计上保证收缩性，并可使用标准反向传播进行训练。此外，CH-NODEs具备内置的梯度不爆炸保证，从而确保训练过程良定义。最后，我们在带有噪声测试数据的MNIST图像分类问题上展示了CH-NODEs的鲁棒性。
引用
@article{arxiv.2203.11805,
title = {Robust Classification using Contractive Hamiltonian Neural ODEs},
author = {Muhammad Zakwan and Liang Xu and Giancarlo Ferrari-Trecate},
journal= {arXiv preprint arXiv:2203.11805},
year = {2022}
}