利用通道相似性加速深度卷积神经网络
机器学习
2019-08-08 v1 计算机视觉与模式识别
机器学习
摘要
为解决现有基于幅值的剪枝算法在模型权重或激活值幅值较大且相近时的局限，我们提出一种新视角，以发现通道间的参数冗余并通过通道剪枝加速深度 CNN。确切地说，我们认为揭示相似特征信息的通道存在功能重叠，且此类每个相似性组中的大多数通道可被移除而不损害模型的表征能力。在通过概率建模推导出评估通道相似性的有效度量后，我们引入一种基于通道层次聚类的剪枝算法。特别地，所提算法不依赖稀疏训练技术或复杂数据驱动优化，且可直接应用于预训练模型。在基准数据集上的大量实验有力证明了我们的方法相较先前方法具有更优的加速性能。在 ImageNet 上，我们剪枝后 FLOPs 减少 30% 的 ResNet-50 优于基线模型。
引用
@article{arxiv.1908.02620,
title = {Exploiting Channel Similarity for Accelerating Deep Convolutional Neural Networks},
author = {Yunxiang Zhang and Chenglong Zhao and Bingbing Ni and Jian Zhang and Haoran Deng},
journal= {arXiv preprint arXiv:1908.02620},
year = {2019}
}
备注
14 pages, 6 figures