残差网络作为非线性系统：基于线性化的稳定性分析
机器学习
2019-06-03 v1 计算机视觉与模式识别
机器学习
摘要
我们将预训练的残差网络（ResNets）视为非线性系统，并使用线性化——一种用于非线性系统定性分析的常用方法——来理解网络在输入图像受小扰动下的行为。我们采用在 CIFAR-10 数据集上训练的 ResNet-56 和 ResNet-110。我们在残差单元和网络阶段层面线性化这些网络，并采用奇异值分解对这些组件进行稳定性分析。研究发现，残差单元线性化后的奇异值大多为 1，并且尽管线性化直接依赖于激活图，不同输入图像的奇异值差异仅微小。然而，调整跳跃连接的缩放或残差单元中权重的值会对奇异值分布产生显著影响。检查随机和对抗扰动在输入图像中如何通过网络传播揭示，对抗扰动在网络最终阶段末尾的幅度出现剧烈跃升，而随机扰动情况下不存在此现象。我们尝试通过将扰动投影到残差单元线性化的奇异向量上，以更好理解该现象。
引用
@article{arxiv.1905.13386,
title = {Residual Networks as Nonlinear Systems: Stability Analysis using Linearization},
author = {Kai Rothauge and Zhewei Yao and Zixi Hu and Michael W. Mahoney},
journal= {arXiv preprint arXiv:1905.13386},
year = {2019}
}