对抗鲁棒 ImageNet 训练 CNN 的形状与简洁性偏好
计算机视觉与模式识别
2022-09-13 v6 机器学习
摘要
过去几年中，人类视觉与卷积神经网络（CNNs）之间被揭示出越来越多的相似性。然而，普通 CNN 常难以推广到对抗样本或分布外（OOD）样本，而人类在这些样本上表现出优越性能。对抗训练是一种用于提升 CNN 在对抗与 OOD 数据上鲁棒性的主流学习算法；然而，关于其性质，特别是对抗鲁棒 CNN 内部学到的形状偏好与内部特征，人们知之甚少。本文中，我们进行了透彻、系统的研究，以理解通过对抗训练训练的 AlexNet、GoogLeNet 与 ResNet-50 模型的形状偏好及使其具备可泛化能力的某些内部机制。我们发现，标准 ImageNet 分类器具有强烈的纹理偏好，而其鲁棒（R）对应模型则严重依赖形状。值得注意的是，对抗训练在“鲁棒化”CNN 的过程中向隐藏神经元注入了三种简洁性偏好。即，R 网络中每个卷积神经元常转变为检测（1）像素级更平滑的模式，即一种阻挡高频噪声通过网络传递的机制；（2）更多的低级特征，即纹理与颜色（而非物体）；（3）更少的输入类型。我们的发现揭示了使网络更具对抗鲁棒性的有趣机制，并解释了近期一些发现，例如为何 R 网络受益于大得多的容量（Xie et al. 2020），以及可作为图像合成中强图像先验（Santurkar et al. 2019）。
引用
@article{arxiv.2006.09373,
title = {The shape and simplicity biases of adversarially robust ImageNet-trained CNNs},
author = {Peijie Chen and Chirag Agarwal and Anh Nguyen},
journal= {arXiv preprint arXiv:2006.09373},
year = {2022}
}