RepGhost：一种通过重参数化实现的硬件高效Ghost模块
计算机视觉与模式识别
2024-08-01 v2
摘要
特征复用一直是轻量级卷积神经网络(CNNs)架构设计中的关键技术。现有方法通常利用拼接算子，通过复用其他层的特征图来以低成本保持较大通道数（从而具备较大网络容量）。尽管拼接操作无参数与FLOPs开销，其在硬件设备上的计算代价却不可忽略。为此，本文提供了一种新视角，以隐式且更高效的方式实现特征复用，取代拼接操作。我们提出了一种新颖的硬件高效RepGhost模块，通过重参数化实现隐式特征复用，而非使用拼接算子。基于RepGhost模块，我们开发了高效的RepGhost瓶颈层与RepGhostNet。在ImageNet与COCO基准上的实验表明，我们的RepGhostNet在移动设备上比GhostNet和MobileNetV3更有效且更高效。特别地，在基于ARM的移动设备上，我们的RepGhostNet以更少的参数和相当的延迟在ImageNet数据集上超越GhostNet 0.5x达2.5%的Top-1准确率。代码与模型权重可在 https://github.com/ChengpengChen/RepGhost 获取。
引用
@article{arxiv.2211.06088,
title = {RepGhost: A Hardware-Efficient Ghost Module via Re-parameterization},
author = {Chengpeng Chen and Zichao Guo and Haien Zeng and Pengfei Xiong and Jian Dong},
journal= {arXiv preprint arXiv:2211.06088},
year = {2024}
}
备注
tech report