RSIR Transformer：使用随机采样窗口与重要区域窗口的分层视觉Transformer
计算机视觉与模式识别
2023-04-28 v3
摘要
近来，Transformer 在各种视觉任务中展现出有前景的性能。然而，全局自注意力的高计算成本对 Transformer 仍是挑战，尤其对于高分辨率视觉任务。局部自注意力在有限区域内进行计算以换取效率，但因感受野小导致上下文建模不足。本工作中，我们引入两个新注意力模块以增强分层视觉 Transformer 的全局建模能力，即随机采样窗口（RS-Win）与重要区域窗口（IR-Win）。具体而言，RS-Win 按均匀分布采样随机图像块组成窗口，即 RS-Win 中的块可来自图像任意位置。IR-Win 根据图像块在注意力图中的权重组成窗口。值得注意的是，RS-Win 能够在整个模型中捕获全局信息，即便在早期的、高分辨率阶段。IR-Win 使自注意力模块聚焦于图像重要区域并捕获更具信息量的特征。结合这些设计，RSIR-Win Transformer 在常见视觉任务上展现出有竞争力的性能。
引用
@article{arxiv.2304.06250,
title = {RSIR Transformer: Hierarchical Vision Transformer using Random Sampling Windows and Important Region Windows},
author = {Zhemin Zhang and Xun Gong},
journal= {arXiv preprint arXiv:2304.06250},
year = {2023}
}
备注
arXiv admin note: substantial text overlap with arXiv:2209.08726