非结构化DNN权重剪枝——在任何平台上都有益吗？
机器学习
2020-01-09 v2 人工智能
计算机视觉与模式识别
神经与进化计算
机器学习
摘要
大型深度神经网络（DNN）模型因片外DRAM访问的能耗远高于算术或SRAM操作，对能效提出了关键挑战。这推动了以两种主要方法进行的模型压缩研究。权重剪枝利用权重数量上的冗余，可以以非结构化方式进行（具有更高灵活性和剪枝率，但因权重不规则而带来索引访问开销），或以结构化方式进行（保留完整矩阵结构但剪枝率较低）。权重量化利用权重比特数上的冗余。与剪枝相比，量化对硬件更友好，已成为FPGA和ASIC实现的“必做”步骤。本文首次给出了该问题的明确答案。首先，我们通过扩展和增强近期提出的联合权重剪枝与量化框架ADMM-NN，构建了ADMM-NN-S。其次，我们提出了一种在存储与计算效率上对非结构化与结构化剪枝进行公平且根本性比较的方法论。我们的结果表明ADMM-NN-S持续优于现有最佳方法：（i）在LeNet-5、AlexNet和ResNet-50上分别实现了348倍、36倍和8倍的整体权重剪枝，且（几乎）零精度损失；（ii）我们展示了首个全二值化（所有层）DNN在许多情况下可做到精度无损。这些结果提供了强有力的基线和本研究的可信度。基于所提出的比较框架，在相同精度和量化下，结果表明非结构化剪枝在存储和计算效率上均不具竞争力。因此，我们得出结论：非结构化剪枝是有害的。我们敦促学界不要再继续针对非结构化稀疏性进行DNN推理加速。
引用
@article{arxiv.1907.02124,
title = {Non-Structured DNN Weight Pruning -- Is It Beneficial in Any Platform?},
author = {Xiaolong Ma and Sheng Lin and Shaokai Ye and Zhezhi He and Linfeng Zhang and Geng Yuan and Sia Huat Tan and Zhengang Li and Deliang Fan and Xuehai Qian and Xue Lin and Kaisheng Ma and Yanzhi Wang},
journal= {arXiv preprint arXiv:1907.02124},
year = {2020}
}