RBFormer：通过鲁棒偏置提升 Transformer 的对抗鲁棒性
计算机视觉与模式识别
2023-09-26 v1
摘要
近来，基于 Transformer 的结构（如 Vision Transformer（ViT）与 Vision Multilayer Perceptron（VMLP））引发了广泛兴趣与关注。相较于以往的基于卷积的结构，所研究的基于 Transformer 的结构凭借其独特的基于注意力的输入 token 混合策略展现出相当或更优的性能。将对抗样本作为鲁棒性考量引入，对已成熟的基于卷积的结构性能产生了深远且有害的影响。这种对对抗攻击的固有脆弱性在基于 Transformer 的结构中亦得到证实。本文中，我们侧重于研究结构的内在鲁棒性，而非引入新的对抗攻击防御措施。为解决鲁棒性问题上的易损性，我们采用合理结构设计方法来缓解此类脆弱性。具体而言，我们通过提高高频结构鲁棒偏置的比例来增强结构的对抗鲁棒性。由此，我们引入了一种称为基于鲁棒偏置的 Transformer 结构（RBFormer）的新结构，其相较若干现有基线结构展现出鲁棒优越性。通过一系列广泛实验，RBFormer 以显著幅度优于原始结构，在 CIFAR-10 与 ImageNet-1k 上分别跨不同评估准则实现了 +16.12% 与 +5.04% 的令人印象深刻的提升。
引用
@article{arxiv.2309.13245,
title = {RBFormer: Improve Adversarial Robustness of Transformer by Robust Bias},
author = {Hao Cheng and Jinhao Duan and Hui Li and Lyutianyang Zhang and Jiahang Cao and Ping Wang and Jize Zhang and Kaidi Xu and Renjing Xu},
journal= {arXiv preprint arXiv:2309.13245},
year = {2023}
}
备注
BMVC 2023