PyramidTNT：基于金字塔架构改进的 Transformer-in-Transformer 基线
计算机视觉与模式识别
2022-01-05 v1
摘要
Transformer 网络在计算机视觉任务中取得了巨大进展。Transformer-in-Transformer（TNT）架构利用内 Transformer 和外 Transformer 来提取局部和全局表示。在这项工作中，我们通过引入两种先进设计来提出新的 TNT 基线：1）金字塔架构，以及 2）卷积 stem。新的“PyramidTNT”通过建立分层表示显著改进了原始 TNT。PyramidTNT 取得了比先前最先进的视觉 Transformer（如 Swin Transformer）更好的性能。我们希望这一新基线有助于视觉 Transformer 的进一步研究和应用。代码将发布于 https://github.com/huawei-noah/CV-Backbones/tree/master/tnt_pytorch。
引用
@article{arxiv.2201.00978,
title = {PyramidTNT: Improved Transformer-in-Transformer Baselines with Pyramid Architecture},
author = {Kai Han and Jianyuan Guo and Yehui Tang and Yunhe Wang},
journal= {arXiv preprint arXiv:2201.00978},
year = {2022}
}
备注
Tech Report. An extension of "Transformer in Transformer" (arXiv:2103.00112)