AxWin Transformer：具有轴向窗口的上下文感知视觉 Transformer 骨干网络
计算机视觉与模式识别
2023-05-03 v1
摘要
近来，Transformer 凭借其强大的建模能力在若干视觉任务中展现出良好性能。为降低注意力引起的二次复杂度，一些出色工作将注意力限制于局部区域或扩展轴向交互。然而，这些方法往往缺乏局部与全局信息的交互，难以平衡粗粒度与细粒度信息。为解决此问题，我们提出 AxWin Attention，其在局部窗口与轴向视图中均建模上下文信息。基于 AxWin Attention，我们开发了上下文感知视觉 Transformer 骨干网络，称为 AxWin Transformer，其在分类及下游分割与检测任务中均优于 SOTA 方法。
引用
@article{arxiv.2305.01280,
title = {AxWin Transformer: A Context-Aware Vision Transformer Backbone with Axial Windows},
author = {Fangjian Lin and Yizhe Ma and Sitong Wu and Long Yu and Shengwei Tian},
journal= {arXiv preprint arXiv:2305.01280},
year = {2023}
}