Fast-iTPN：基于令牌迁移的整体预训练 Transformer 金字塔网络
计算机视觉与模式识别
2024-01-08 v2 人工智能
摘要
我们提出了整体预训练的 Transformer 金字塔网络（iTPN），旨在联合优化网络骨干与颈部，从而使表示模型与下游任务之间的迁移差距最小。iTPN 天生具有两个精心设计的方案：1）基于视觉 Transformer（ViT）的首个预训练特征金字塔。2）使用掩码特征建模（MFM）对特征金字塔进行多阶段监督。iTPN 被更新为 Fast-iTPN，通过两个灵活的设计降低了计算内存开销并加速了推理：1）令牌迁移（token migration）：丢弃骨干中的冗余令牌，同时在特征金字塔中无需注意力操作地补充它们。2）令牌聚集（token gathering）：通过引入少量聚集令牌，降低由全局注意力引起的计算成本。base/large 级别的 Fast-iTPN 在 ImageNet-1K 上达到了 88.75%/89.5% 的 top-1 准确率。使用 DINO 的 1x 训练计划，base/large 级别的 Fast-iTPN 在 COCO 目标检测上达到了 58.4%/58.8% 的 box AP，并在使用 MaskDINO 的 ADE20K 语义分割上达到了 57.5%/58.7% 的 mIoU。Fast-iTPN 最多可加速推理过程 70%，且性能损失可忽略不计，展示了其作为下游视觉任务强大骨干的潜力。代码见：github.com/sunsmarterjie/iTPN。
引用
@article{arxiv.2211.12735,
title = {Fast-iTPN: Integrally Pre-Trained Transformer Pyramid Network with Token Migration},
author = {Yunjie Tian and Lingxi Xie and Jihao Qiu and Jianbin Jiao and Yaowei Wang and Qi Tian and Qixiang Ye},
journal= {arXiv preprint arXiv:2211.12735},
year = {2024}
}
备注
The tiny/small/base-level models report new records on ImageNet-1K. Code: github.com/sunsmarterjie/iTPN