MoCoViT：移动卷积视觉 Transformer
计算机视觉与模式识别
2022-05-27 v2
摘要
近来，Transformer 网络在各种视觉任务上取得了令人印象深刻的成果。然而，它们大多计算昂贵，不适合真实世界的移动应用。在本工作中，我们提出移动卷积视觉 Transformer（MoCoViT），通过将 transformer 引入移动卷积网络以利用两种架构的优势，从而在性能与效率上取得改进。与近期视觉 transformer 的工作不同，MoCoViT 中的移动 transformer 模块专为移动设备精心设计并非常轻量，通过两项主要修改实现：移动自注意力（MoSA）模块与移动前馈网络（MoFFN）。MoSA 通过分支共享方案简化注意力图的计算，而 MoFFN 作为 transformer 中 MLP 的移动版本，进一步大幅降低计算量。综合实验验证了我们所提出的 MoCoViT 系列在各种视觉任务上优于最先进的便携 CNN 与 transformer 神经架构。在 ImageNet 分类上，它以 147M FLOPs 达到 74.5% 的 top-1 准确率，以更少的计算量比 MobileNetV3 高出 1.2%。在 COCO 目标检测任务上，MoCoViT 在 RetinaNet 框架下以 2.1 AP 优于 GhostNet。
引用
@article{arxiv.2205.12635,
title = {MoCoViT: Mobile Convolutional Vision Transformer},
author = {Hailong Ma and Xin Xia and Xing Wang and Xuefeng Xiao and Jiashi Li and Min Zheng},
journal= {arXiv preprint arXiv:2205.12635},
year = {2022}
}
备注
After evaluation, the relevant technical details are temporarily inconvenient to be disclosed, so the manuscript is temporarily withdrawn. We will wait for the right time to reopen