跳跃连接至关重要：关于ResNet生成的对抗样本可迁移性的研究
机器学习
2020-02-17 v1 密码学与安全
计算机视觉与模式识别
机器学习
摘要
跳跃连接是当前最先进的深度神经网络（DNN）如ResNet、WideResNet、DenseNet和ResNeXt的重要组成部分。尽管跳跃连接在构建更深、更强大的DNN方面取得了巨大成功，我们在本文中指出了跳跃连接一个令人惊讶的安全弱点。使用跳跃连接使得更容易生成高度可迁移的对抗样本。具体而言，在类ResNet（带跳跃连接）神经网络中，梯度可以通过跳跃连接或残差模块反向传播。我们发现，根据衰减因子使用更多来自跳跃连接而非残差模块的梯度，能够制作出具有高可迁移性的对抗样本。我们的方法称为跳跃梯度方法（SGM）。我们对最先进的DNN进行了全面的迁移攻击，包括ResNets、DenseNets、Inceptions、Inception-ResNet、Squeeze-and-Excitation Network（SENet）以及鲁棒训练的DNN。我们表明，在梯度流上采用SGM几乎在所有情况下都能极大提升所制作攻击的可迁移性。此外，SGM可以轻松与现有黑盒攻击技术结合，并取得优于最先进可迁移性方法的显著提升。我们的发现不仅促使针对DNN架构漏洞的新研究，也为安全DNN架构设计提出了进一步挑战。
引用
@article{arxiv.2002.05990,
title = {Skip Connections Matter: On the Transferability of Adversarial Examples Generated with ResNets},
author = {Dongxian Wu and Yisen Wang and Shu-Tao Xia and James Bailey and Xingjun Ma},
journal= {arXiv preprint arXiv:2002.05990},
year = {2020}
}
备注
ICLR 2020 conference paper (spotlight)