Pick-or-Mix：面向卷积神经网络的动态通道采样
计算机视觉与模式识别
2024-06-18 v1
摘要
卷积神经网络（ConvNet）的通道剪枝方法会静态或动态地停用通道，并且需要特殊实现。此外，代表性ConvNet中的通道压缩通过1x1卷积进行，这占据了计算量和网络参数的很大一部分。鉴于这些挑战，我们提出了一种有效的多用途动态通道采样模块，即Pick-or-Mix（PiX），它不需要特殊实现。PiX将一组通道划分为子集，然后从中选取，其中选取决策基于输入激活逐像素动态进行。我们将PiX嵌入到主流的ConvNet架构中，并验证其多用途性。在将ResNet中的1x1通道压缩层替换为PiX后，网络速度提高了25%，且未损失精度。我们表明，PiX允许ConvNet学习比广泛采用的增强网络表示能力的方法（例如SE、CBAM、AFF、SKNet和DWP）更好的数据表示。我们还表明，PiX在网络降尺度和动态通道剪枝应用中实现了最先进的性能。
引用
@article{arxiv.2406.10935,
title = {Pick-or-Mix: Dynamic Channel Sampling for ConvNets},
author = {Ashish Kumar and Daneul Kim and Jaesik Park and Laxmidhar Behera},
journal= {arXiv preprint arXiv:2406.10935},
year = {2024}
}
备注
Published in Computer Vision and Pattern Recognition (CVPR 2024)