DeBiFormer：基于可变形代理双向路由注意力的视觉 Transformer
计算机视觉与模式识别
2024-10-14 v1
摘要
各种注意力模块的视觉 Transformer 已在视觉任务中显示出卓越的性能。尽管使用稀疏自适应注意力（如 DAT）在图像分类任务中取得了强劲结果，但通过可变形点选择的 key-value 对在针对语义分割任务进行微调时缺乏语义相关性。BiFormer 中的查询感知稀疏注意力 seeks 为每个查询聚焦于 top-k 路由区域，但在注意力计算过程中，所选 key-value 对受到过多无关查询的影响，降低了对更重要区域的注意力。为此，我们提出了可变形双向路由注意力(DBRA)模块，通过代理查询优化 key-value 对的选择，并增强查询在注意力图中的可解释性。基于此，我们引入了基于 DBRA 模块构建的可变形双向路由注意力 Transformer（DeBiFormer），这是一种面向各种计算机视觉任务的新型通用视觉 Transformer。DeBiFormer 在包括图像分类、目标检测和语义分割在内的各种计算机视觉任务上经验证，为其有效性提供了强有力的证据。代码已公开于 {https://github.com/maclong01/DeBiFormer}。
关键词
引用
@article{arxiv.2410.08582,
title = {DeBiFormer: Vision Transformer with Deformable Agent Bi-level Routing Attention},
author = {Nguyen Huu Bao Long and Chenyu Zhang and Yuzhi Shi and Tsubasa Hirakawa and Takayoshi Yamashita and Tohgoroh Matsui and Hironobu Fujiyoshi},
journal= {arXiv preprint arXiv:2410.08582},
year = {2024}
}
备注
20 pages, 7 figures. arXiv admin note: text overlap with arXiv:2303.08810 by other authors