重新思考移动模块以构建高效基于注意力的模型
计算机视觉与模式识别
2023-08-15 v4
摘要
本文致力于开发用于密集预测的现代化、高效、轻量模型，并在参数量、FLOPs 与性能之间进行权衡。倒残差块（IRB）作为轻量 CNN 的基础设施，但在基于注意力的研究中尚未有公认对应结构。本工作从统一视角重新审视轻量基础设施（高效 IRB）与 Transformer 的有效组件，将基于 CNN 的 IRB 扩展至基于注意力的模型，并抽象出用于轻量模型设计的单残差元移动块（MMB）。遵循简单而有效的设计准则，我们推导出现代化倒残差移动块（iRMB），并仅以 iRMB 构建类 ResNet 的高效模型（EMO）用于下游任务。在 ImageNet-1K、COCO2017 与 ADE20K 基准上的大量实验证明了我们的 EMO 优于当前最优方法，例如 EMO-1M/2M/5M 分别取得 71.5、75.1 与 78.4 的 Top-1 精度，超越同等规模的 CNN/基于注意力的模型，同时良好权衡参数、效率与精度：在 iPhone14 上比 EdgeNeXt 快 2.8-4.0 倍。
引用
@article{arxiv.2301.01146,
title = {Rethinking Mobile Block for Efficient Attention-based Models},
author = {Jiangning Zhang and Xiangtai Li and Jian Li and Liang Liu and Zhucun Xue and Boshen Zhang and Zhengkai Jiang and Tianxin Huang and Yabiao Wang and Chengjie Wang},
journal= {arXiv preprint arXiv:2301.01146},
year = {2023}
}