具有分区注意力的双路径Transformer
计算机视觉与模式识别
2023-05-25 v1
摘要
本文介绍了一种称为双重注意力的新颖注意力机制，其既高效又有效。双重注意力机制由两个并行组件构成：由卷积神经网络(CNNs)生成的局部注意力和由视觉Transformer(ViTs)生成的长程注意力。为解决原始多头自注意力(MHSA)的高计算复杂度和内存占用问题，我们引入一种新颖的多头分区注意力(MHPA)机制。该分区注意力方法同时建模分区内和分区间注意力。基于双重注意力块和分区注意力机制，我们提出一种称为DualFormer的分层视觉骨干网络。我们在多项计算机视觉任务上评估模型的有效性，包括ImageNet上的图像分类、COCO上的目标检测和Cityscapes上的语义分割。具体而言，所提出的DualFormer-XS在ImageNet上达到81.5%的top-1准确率，以高得多的吞吐量优于近期最先进的MPViT-XS达0.6%的top-1准确率。
引用
@article{arxiv.2305.14768,
title = {Dual Path Transformer with Partition Attention},
author = {Zhengkai Jiang and Liang Liu and Jiangning Zhang and Yabiao Wang and Mingang Chen and Chengjie Wang},
journal= {arXiv preprint arXiv:2305.14768},
year = {2023}
}