当移位操作遇见视觉Transformer：一种极简的注意力机制替代方案
计算机视觉与模式识别
2022-01-27 v1
摘要
注意力机制被广泛认为是视觉Transformer(ViT)成功的关键，因为它提供了一种灵活而强大的方式来建模空间关系。然而，注意力机制真的是ViT不可或缺的一部分吗？它能否被其他替代方案取代？为了揭示注意力机制的作用，我们将其简化到一个极其简单的情形：零FLOP和零参数。具体而言，我们重新审视了移位操作。它不包含任何参数或算术计算。唯一的操作用在相邻特征之间交换一小部分通道。基于这一简单操作，我们构建了一个新的骨干网络，即ShiftViT，其中ViT中的注意力层被移位操作替代。令人惊讶的是，ShiftViT在若干主流任务中表现相当好，例如分类、检测和分割。其性能与强基线Swin Transformer相当甚至更优。这些结果表明注意力机制可能并非使ViT成功的决定性因素。它甚至可以被零参数操作替代。在未来的工作中，我们应更多关注ViT的其余部分。代码可在github.com/microsoft/SPACH获取。
引用
@article{arxiv.2201.10801,
title = {When Shift Operation Meets Vision Transformer: An Extremely Simple Alternative to Attention Mechanism},
author = {Guangting Wang and Yucheng Zhao and Chuanxin Tang and Chong Luo and Wenjun Zeng},
journal= {arXiv preprint arXiv:2201.10801},
year = {2022}
}
备注
accepted by AAAI-22