是否需要注意力通道处理设计？视觉Transformer与全注意力网络鲁棒性的综合分析
计算机视觉与模式识别
2023-06-12 v1 机器学习
摘要
针对标准CNN模型和视觉Transformer的鲁棒性测试已经开展，然而对于无额外注意力通道设计的传统视觉Transformer与最新全注意力网络（FAN）模型之间的鲁棒性尚缺乏综合研究。因此，本文使用ImageNet数据集，通过白盒攻击比较全注意力网络（FAN）模型与传统视觉Transformer的鲁棒性，以理解注意力通道处理设计的作用，并通过黑盒攻击研究二者之间的可迁移性。
引用
@article{arxiv.2306.05495,
title = {Is Attentional Channel Processing Design Required? Comprehensive Analysis Of Robustness Between Vision Transformers And Fully Attentional Networks},
author = {Abhishri Ajit Medewar and Swanand Ashokrao Kavitkar},
journal= {arXiv preprint arXiv:2306.05495},
year = {2023}
}
备注
4 pages, 12 figures