跨通道组内稀疏神经网络
机器学习
2020-06-15 v2 计算机视觉与模式识别
摘要
现代深度神经网络依赖过参数化来实现最先进的泛化能力。但过参数化模型计算代价高昂。网络剪枝常被用于获得便于部署的低需求模型。细粒度剪枝移除参数张量中的单个权重，能以极小的精度下降实现高模型压缩比。然而，它给计算数据流带来不规则性，且实践中往往不能提升模型推理效率。粗粒度模型剪枝通过成组移除网络权重（例如整个滤波器）实现令人满意的推理加速，但常导致显著的精度下降。本文提出跨通道组内（CCI）稀疏结构，可避免细粒度剪枝的推理低效，同时保持优异的模型性能。我们随后提出一种新颖的训练算法，旨在 CCI 稀疏性所施加的约束下表现良好。通过一系列对比实验，我们表明在将来具备合适硬件加速的条件下，我们提出的 CCI 稀疏结构及相应剪枝算法在推理效率上大幅优于已有方法。
引用
@article{arxiv.1910.11971,
title = {Cross-Channel Intragroup Sparsity Neural Network},
author = {Zhilin Yu and Chao Wang and Xin Wang and Qing Wu and Yong Zhao and Xundong Wu},
journal= {arXiv preprint arXiv:1910.11971},
year = {2020}
}