CPOT：基于最优传输的通道剪枝
机器学习
2020-05-22 v1 计算机视觉与模式识别
机器学习
摘要
深度神经网络（DNNs）的最新进展导致网络参数急剧增长，使得在资源受限平台上部署 DNNs 极为困难。因此，人们开发了各种剪枝方法来压缩深度网络架构并加速推理过程。现有多数通道剪枝方法依据精心设计的滤波器排序准则丢弃较不重要的滤波器。然而，由于深度学习模型的可解释性有限，设计合适的排序准则以区分冗余滤波器十分困难。为解决这一挑战性问题，我们提出了一种基于最优传输的通道剪枝新技术，称为 CPOT。具体而言，我们为深度模型每一层的通道定位 Wasserstein 重心，即一组概率分布在最优传输度量下的均值。然后，我们剪枝由 Wasserstein 重心定位的冗余信息。最后，我们通过实验证明，对于分类任务，CPOT 在剪枝 ResNet-20、ResNet-32、ResNet-56 和 ResNet-110 上优于最先进的方法。此外，我们表明所提出的 CPOT 技术擅长通过在图像到图像翻译任务这一更困难情形下的剪枝来压缩 StarGAN 模型。
引用
@article{arxiv.2005.10451,
title = {CPOT: Channel Pruning via Optimal Transport},
author = {Yucong Shen and Li Shen and Hao-Zhi Huang and Xuan Wang and Wei Liu},
journal= {arXiv preprint arXiv:2005.10451},
year = {2020}
}
备注
11 pages