利用CNN中的权重冗余：超越剪枝与量化
机器学习
2020-06-23 v1 机器学习
摘要
剪枝与量化是被证实可提升卷积神经网络（CNNs）性能与存储效率的方法。剪枝移除张量中近零权重并屏蔽相邻层神经元间的弱连接。量化通过用所需存储更少的数值相近值替换权重来降低权重精度。本文中，我们识别出CNN权重张量中另一种形式的冗余，即相似值的重复模式。我们观察到剪枝与量化都往往急剧增加权重张量中重复模式的数量。我们研究了若干压缩方案以利用CNN权重数据中的此结构，包括多种形式的霍夫曼编码，以及受块稀疏矩阵格式启发的其他方法。我们在多个知名CNN上评估了我们的方法，发现除剪枝与量化带来的节省外，还可实现1.4倍至3.1倍的压缩比。
引用
@article{arxiv.2006.11967,
title = {Exploiting Weight Redundancy in CNNs: Beyond Pruning and Quantization},
author = {Yuan Wen and David Gregg},
journal= {arXiv preprint arXiv:2006.11967},
year = {2020}
}