部分通道网络：计算更少，性能更优
计算机视觉与模式识别
2025-02-04 v1 人工智能
摘要
设计一种能使网络在保持低参数量和低 FLOPs 的同时不牺牲准确率和吞吐量的模块或机制，仍然是一个挑战。为了应对这一挑战并利用特征图通道内的冗余，我们提出了一种新的解决方案：部分通道机制 (PCM)。具体而言，通过分割操作，特征图通道被分为不同部分，每个部分对应不同的操作，例如卷积、注意力、池化和恒等映射。基于这一假设，我们引入了一种新颖的部分注意力卷积 (PATConv)，它可以高效地将卷积与视觉注意力结合起来。我们的探索表明，PATConv 可以完全替代常规卷积和常规视觉注意力，同时减少模型参数和 FLOPs。此外，PATConv 可以衍生出三种新型模块：部分通道注意力模块 (PAT_ch)、部分空间注意力模块 (PAT_sp) 和部分自注意力模块 (PAT_sf)。此外，我们还提出了一种新颖的动态部分卷积 (DPConv)，它可以自适应地学习不同层中分割通道的比例，以实现更好的权衡。基于 PATConv 和 DPConv，我们提出了一个新的混合网络家族，名为 PartialNet，在 ImageNet-1K 分类任务上，与一些 SOTA 模型相比，它实现了更优的 top-1 准确率和推理速度，并在 COCO 数据集上的检测和分割任务中均表现出色。我们的代码可在 https://github.com/haiduo/PartialNet 获取。
引用
@article{arxiv.2502.01303,
title = {Partial Channel Network: Compute Fewer, Perform Better},
author = {Haiduo Huang and Tian Xia and Wenzhe zhao and Pengju Ren},
journal= {arXiv preprint arXiv:2502.01303},
year = {2025}
}