逼近网络量化的极限
计算机视觉与模式识别
2017-11-15 v2 机器学习
神经与进化计算
摘要
网络量化是减少深度神经网络冗余度的网络压缩技术之一。它通过量化减少不同网络参数值的数量，以节省其存储空间。在本文中，我们设计了在给定压缩比约束下最小化量化所致性能损失的网络量化方案。我们分析了量化误差与神经网络损失函数之间的定量关系，并确定海森加权失真度量是局部优化网络量化的正确目标函数。据此，我们提出了海森加权k均值聚类方法，用于对网络参数进行聚类以实现量化。当采用最优变长二进制码（如霍夫曼码）进行进一步压缩时，我们推导出网络量化问题可与信息论中的熵约束标量量化（ECSQ）问题相关联，并因此提出了两种用于网络量化的ECSQ解决方案，即均匀量化和一种类似于劳埃德算法的迭代解法。最后，通过简单的均匀量化加霍夫曼编码，我们的实验表明，对LeNet、32层ResNet和AlexNet分别可实现51.25、22.17和40.65的压缩比。
引用
@article{arxiv.1612.01543,
title = {Towards the Limit of Network Quantization},
author = {Yoojin Choi and Mostafa El-Khamy and Jungwon Lee},
journal= {arXiv preprint arXiv:1612.01543},
year = {2017}
}
备注
Published as a conference paper at ICLR 2017