Token Transformer：类 token 能否帮助基于窗口的 transformer 构建更好的长程交互？
计算机视觉与模式识别
2023-01-04 v2
摘要
与原始 transformer 相比，基于窗口的 transformer 在准确率和效率之间提供了更好的权衡。尽管基于窗口的 transformer 已取得很大进展，但由于局部窗口的大小和窗口连接方案，其长程建模能力受到限制。为解决该问题，我们提出了一种新颖的 Token Transformer（TT）。TT 的核心机制是在每个局部窗口中增加一个用于汇总窗口信息的类（CLS）token。我们将此类 token 交互称为 CLS Attention。这些 CLS token 将与每个窗口中的 token 进行空间交互以实现长程建模。为保留基于窗口的 transformer 的分层设计，我们在 TT 的每个阶段设计了特征继承模块（FIM），用于将前一阶段的局部窗口信息传递给下一阶段的 CLS token。此外，我们在 TT 中设计了空间-通道前馈网络（SCFFN），它能在空间域和通道域上混合 CLS token 与嵌入 token 而无需额外参数。大量实验表明，我们的 TT 在图像分类及下游任务中以低参数量取得了具有竞争力的结果。
引用
@article{arxiv.2211.06083,
title = {Token Transformer: Can class token help window-based transformer build better long-range interactions?},
author = {Jiawei Mao and Yuanqi Chang and Xuesong Yin},
journal= {arXiv preprint arXiv:2211.06083},
year = {2023}
}