SlimConv：通过权重翻转降低卷积神经网络中的通道冗余
计算机视觉与模式识别
2021-09-08 v1 机器学习
图像与视频处理
摘要
卷积神经网络（CNNs）特征图中的通道冗余导致内存与计算资源的巨大消耗。本文设计了一种新颖的瘦卷积（SlimConv）模块，通过降低通道冗余来提升 CNNs 性能。我们的 SlimConv 包含三个主要步骤：重构、变换与融合，借此特征以更高效的方式被拆分与重组，从而所学权重可被有效压缩。特别地，我们模型的核心是一种权重翻转操作，其能大幅提升特征多样性，对性能起到关键作用。我们的 SlimConv 是一种即插即用的架构单元，可直接用于替换 CNNs 中的卷积层。我们在 ImageNet、MS COCO2014、Pascal VOC2012 分割与 Pascal VOC2007 检测数据集上开展综合实验验证 SlimConv 的有效性。实验表明，配备 SlimConv 的模型能一致地取得更优性能，且比未配备的对应模型消耗更少内存与计算资源。例如，拟合 SlimConv 的 ResNet-101 在 ImageNet 上以 4.87 GFLOPs 与 27.96M 参数取得 77.84% 的 top-1 分类准确率，表现为约 0.5% 的性能提升且约减少 3 GFLOPs 与 38% 参数。
引用
@article{arxiv.2003.07469,
title = {SlimConv: Reducing Channel Redundancy in Convolutional Neural Networks by Weights Flipping},
author = {Jiaxiong Qiu and Cai Chen and Shuaicheng Liu and Bing Zeng},
journal= {arXiv preprint arXiv:2003.07469},
year = {2021}
}
备注
20 pages