迈向鲁棒 ResNet：一小步却是巨大飞跃
计算机视觉与模式识别
2019-07-03 v3 机器学习
摘要
本文提出了一种简单而有原则的方法来提升残差网络（ResNet）的鲁棒性，该方法受动力系统视角的启发。即，深度神经网络可用偏微分方程来解释，这自然启发我们用显式欧拉方法刻画 ResNet。我们的分析研究表明，欧拉方法中的步长因子 h 能够控制 ResNet 在训练和泛化两方面的鲁棒性。具体而言，我们证明小的步长因子 h 有利于反向传播的训练鲁棒性；从正向传播的角度看，小的 h 有助于模型泛化的鲁棒性。在视觉 CIFAR-10 和文本 AG-NEWS 数据集上的综合实证评估证实，小的 h 有助于训练和泛化鲁棒性。
引用
@article{arxiv.1902.10887,
title = {Towards Robust ResNet: A Small Step but A Giant Leap},
author = {Jingfeng Zhang and Bo Han and Laura Wynter and Kian Hsiang Low and Mohan Kankanhalli},
journal= {arXiv preprint arXiv:1902.10887},
year = {2019}
}