面向低秩二值索引的网络剪枝
机器学习
2019-05-15 v1 机器学习
摘要
剪枝是一种高效的模型压缩技术，用于去除深度神经网络（DNNs）连接中的冗余。然而，使用通过剪枝参数获得的稀疏矩阵进行计算时，其并行性因索引表示方案不同而差异巨大。因此，细粒度剪枝因其不规则的索引形式导致大内存占用以及卷积和矩阵乘法低并行性而未受太多关注。本文提出一种新的网络剪枝技术，生成低秩二值索引矩阵以压缩索引数据，而索引数据的解压通过简单的二值矩阵乘法完成。该压缩方法寻找一种可分解为两个二值矩阵的特定细粒度剪枝掩码。我们还提出一种基于分块（tile）的分解技术，不仅降低内存需求，还提升压缩比。与先前的稀疏矩阵格式相比，各种 DNN 模型可在保持相同剪枝率的情况下以少得多的索引被剪枝。
引用
@article{arxiv.1905.05686,
title = {Network Pruning for Low-Rank Binary Indexing},
author = {Dongsoo Lee and Se Jung Kwon and Byeongwook Kim and Parichay Kapoor and Gu-Yeon Wei},
journal= {arXiv preprint arXiv:1905.05686},
year = {2019}
}