MUXConv：卷积神经网络中的信息复用
计算机视觉与模式识别
2020-04-08 v2 机器学习
神经与进化计算
图像与视频处理
摘要
近年来，卷积神经网络在计算效率上取得了显著改进。一个关键驱动力是通过组合 卷积和深度可分离卷积来替代标准卷积层，以权衡模型表达力与效率的思想。然而，效率的代价是网络中空间与通道间的信息流动次优。为克服此限制，我们提出MUXConv，一种旨在通过逐步复用网络中的通道与空间信息来增加信息流动，同时降低计算复杂度的层。此外，为证明MUXConv的有效性，我们将其集成到一个高效的多目标进化算法中，以搜索最优模型超参数，同时优化准确率、紧凑度和计算效率。在ImageNet上，所得模型（称为MUXNets）以1.6更高的紧凑度匹配了MobileNetV3的性能（75.3% top-1准确率）和乘加运算量（218M），并在所有三项指标上优于其他移动模型。MUXNet在迁移学习及适配目标检测时同样表现良好。在ChestX-Ray 14基准上，其准确率与最先进（state-of-the-art）模型相当，同时紧凑度提高3.3、效率提高14。类似地，在PASCAL VOC 2007上的检测准确率提高1.2%、速度加快28%、紧凑度提升6%相较于MobileNetV2。代码可从 https://github.com/human-analysis/MUXConv 获取。
引用
@article{arxiv.2003.13880,
title = {MUXConv: Information Multiplexing in Convolutional Neural Networks},
author = {Zhichao Lu and Kalyanmoy Deb and Vishnu Naresh Boddeti},
journal= {arXiv preprint arXiv:2003.13880},
year = {2020}
}
备注
CVPR 2020