通过令牌一致随机层改善视觉Transformer的行为
计算机视觉与模式识别
2022-07-15 v3
摘要
我们在视觉Transformer中引入令牌一致随机层，且不会引起任何严重的性能下降。所增加的随机性改善了网络校准、鲁棒性并增强了隐私。我们在多层感知器块内部使用具有令牌一致随机参数的线性层，而不改变Transformer的架构。随机参数在训练和推理期间均从均匀分布中采样。所应用的线性运算保留了由通过共享多层感知器的一组令牌所形成的拓扑结构。该操作鼓励识别任务的学习依赖于令牌的拓扑结构而非其值，进而为视觉特征提供了所需的鲁棒性和隐私性。令牌一致随机性的有效性在三种不同应用上得到验证，即网络校准、对抗鲁棒性和特征隐私，其均提升了相应既定基线的性能。
引用
@article{arxiv.2112.15111,
title = {Improving the Behaviour of Vision Transformers with Token-consistent Stochastic Layers},
author = {Nikola Popovic and Danda Pani Paudel and Thomas Probst and Luc Van Gool},
journal= {arXiv preprint arXiv:2112.15111},
year = {2022}
}
备注
This article is under consideration at the Computer Vision and Image Understanding journal