鲁棒性是准确性的代价吗？——对18个深度图像分类模型鲁棒性的综合研究

预测准确性长期以来且一直是不同图像分类模型（包括ImageNet竞赛）性能比较的唯一标准。然而，近期研究强调了训练良好的深度神经网络对对抗样本缺乏鲁棒性。对自然图像视觉上难以察觉的扰动可轻易被构造，并误导图像分类器导致误分类。为揭示鲁棒性与准确性之间的权衡，本文使用多种鲁棒性度量（包括306对模型间对抗样本的失真度、成功率和可迁移性）对18个ImageNet模型进行了彻底基准测试。我们广泛的实验结果揭示了若干新见解：(1) 线性缩放律——经验$\ell_2$与$\ell_\infty$失真度量随分类误差的对数线性缩放；(2) 模型架构比模型大小对鲁棒性更关键，所披露的准确性-鲁棒性帕累托前沿可作为ImageNet模型设计者的评估准则；(3) 对相似网络架构，增加网络深度在$\ell_\infty$失真下略微提升鲁棒性；(4) 存在（VGG家族中）表现出高对抗可迁移性的模型，而大多数从一个模型构造的对抗样本仅能在同一家族内迁移。实验代码公开于\url{https://github.com/huanzhang12/Adversarial_Survey}。