卷积神经网络的快速即时免重训练稀疏化
计算机视觉与模式识别
2019-09-10 v3
摘要
现代卷积神经网络（CNNs）结构复杂，包含数百万参数。其部署带来计算、存储与能耗需求，尤其在嵌入式平台上。现有剪枝或稀疏化 CNN 的方法需重训练以维持推理精度。此类重训练在某些场景下不可行。本文通过提出三种与模型无关的方法探索 CNN 的稀疏化。我们的方法可即时应用且无需重训练。我们表明，最先进模型的权重可减少达 73%（压缩倍率 3.7x），且 Top-5 精度损失不超过 5%。额外的微调仅带来 8% 的稀疏度提升，这表明我们的快速即时方法是有效的。
引用
@article{arxiv.1811.04199,
title = {Fast On-the-fly Retraining-free Sparsification of Convolutional Neural Networks},
author = {Amir H. Ashouri and Tarek S. Abdelrahman and Alwyn Dos Remedios},
journal= {arXiv preprint arXiv:1811.04199},
year = {2019}
}
备注
Extended Version of Our Accepted Paper in NIPS 2018, CDNNRIA Workshop: (https://nips.cc/Conferences/2018/Schedule?showEvent=10941)- Reviews are available at OpenReview (https://openreview.net/forum?id=rkz1YD0vjm)