残差与非残差网络之间的插值
机器学习
2020-08-18 v4 机器学习
摘要
尽管常微分方程(ODE)为设计网络架构提供了见解,但其与非残差卷积神经网络(CNN)的关系仍不清楚。在本文中,我们通过添加一个阻尼项提出了一种新颖的ODE模型。可以证明,所提模型通过调整插值系数可同时恢复ResNet和CNN。因此,阻尼ODE模型为解释残差和非残差网络提供了一个统一框架。Lyapunov分析揭示了所提模型更好的稳定性,从而带来了所学网络的鲁棒性提升。在多个图像分类基准上的实验表明,所提模型在来自随机噪声和对抗攻击方法的扰动输入上大幅提升了ResNet和ResNeXt的准确率。此外,损失景观分析展示了我们的方法沿攻击方向改进的鲁棒性。
引用
@article{arxiv.2006.05749,
title = {Interpolation between Residual and Non-Residual Networks},
author = {Zonghan Yang and Yang Liu and Chenglong Bao and Zuoqiang Shi},
journal= {arXiv preprint arXiv:2006.05749},
year = {2020}
}
备注
Accepted at ICML 2020. Code available at https://github.com/minicheshire/InResNet