理解视觉 Transformer 的鲁棒性
计算机视觉与模式识别
2022-11-09 v4
摘要
近期研究表明，视觉 Transformer（ViTs）对各种扰动表现出强大的鲁棒性。尽管这一特性部分归因于自注意力机制，但仍缺乏系统性的理解。本文中，我们考察了自注意力在学习鲁棒表征中的作用。我们的研究受到视觉 Transformer 中新兴的视觉分组这一有趣特性的启发，该特性表明自注意力可能通过改进的中层表征来提升鲁棒性。我们进一步提出了一族全注意力网络（FANs），通过引入注意力通道处理设计来增强这种能力。我们在各种层次化骨干网络上全面验证了该设计。我们的模型在 ImageNet-1k 和 ImageNet-C 上，以 76.8M 参数量，分别取得了最先进的 87.1% 准确率和 35.8% mCE。我们还在语义分割和目标检测这两个下游任务中展示了最先进的准确率和鲁棒性。代码见：https://github.com/NVlabs/FAN。
引用
@article{arxiv.2204.12451,
title = {Understanding The Robustness in Vision Transformers},
author = {Daquan Zhou and Zhiding Yu and Enze Xie and Chaowei Xiao and Anima Anandkumar and Jiashi Feng and Jose M. Alvarez},
journal= {arXiv preprint arXiv:2204.12451},
year = {2022}
}