基于特征图量化相似度的模型剪枝
计算机视觉与模式识别
2022-08-11 v2 机器学习
摘要
卷积神经网络（CNNs）已应用于众多物联网（IoT）设备中以执行多样的下游任务。然而，随着边缘设备上数据量的增加，CNNs很难在有限的计算和存储资源下及时完成某些任务。近年来，滤波器剪枝被视为压缩和加速CNNs的有效技术，但现有方法很少从压缩高维张量的角度对CNNs进行剪枝。在本文中，我们提出一种新颖理论来发现三维张量中的冗余信息，即特征图间量化相似度（QSFM），并利用该理论指导滤波器剪枝过程。我们在数据集（CIFAR-10、CIFAR-100和ILSVRC-12）及边缘设备上执行QSFM，表明所提方法能有效发现神经网络中的冗余信息，且具有可比的压缩率和可容忍的精度下降。无需任何微调操作，QSFM可显著压缩CIFAR-10上的ResNet-56（减少48.7%的FLOPs和57.9%的参数），仅损失0.54%的top-1精度。对于边缘设备的实际应用，QSFM可将MobileNet-V2推理速度加速1.53倍，仅在ILSVRC-12 top-1精度上损失1.23%。
引用
@article{arxiv.2105.06052,
title = {Model Pruning Based on Quantified Similarity of Feature Maps},
author = {Zidu Wang and Xuexin Liu and Long Huang and Yunqing Chen and Yufei Zhang and Zhikang Lin and Rui Wang},
journal= {arXiv preprint arXiv:2105.06052},
year = {2022}
}
备注
To be published in IOTJ, also available on https://ieeexplore.ieee.org/document/9829719