面向智能边缘计算中DNN的由空间与通道注意力引导的通道剪枝
计算机视觉与模式识别
2021-06-22 v2 人工智能
摘要
深度神经网络(DNNs)近期在许多计算机视觉任务中取得了显著成功，但庞大的参数量与高昂的计算开销阻碍了其于资源受限边缘设备上的部署。值得注意的是，通道剪枝是一种压缩DNN模型的有效方法。一个关键挑战在于确定哪些通道应被移除，以使模型精度不受负面影响。本文中，我们首先提出空间与通道注意力(SCA)，一种结合空间与通道注意力、分别关注“何处”与“何种”为最具信息量部分的新注意力模块。由SCA生成的用于度量通道重要性的尺度值引导，我们进一步提出一种称为由空间与通道注意力引导的通道剪枝(CPSCA)的新通道剪枝方法。实验结果表明，与其他最先进的注意力模块相比，SCA在引入可忽略的额外资源消耗的同时取得了最佳推理精度。我们在两个基准数据集上的评估显示，在SCA引导下，我们的CPSCA方法在相同剪枝比下取得了比其他最先进剪枝方法更高的推理精度。
引用
@article{arxiv.2011.03891,
title = {Channel Pruning Guided by Spatial and Channel Attention for DNNs in Intelligent Edge Computing},
author = {Mengran Liu and Weiwei Fang and Xiaodong Ma and Wenyuan Xu and Naixue Xiong and Yi Ding},
journal= {arXiv preprint arXiv:2011.03891},
year = {2021}
}