同而不同——通过权重因式分解恢复神经网络量化误差
机器学习
2019-02-07 v1 机器学习
摘要
受嵌入式设备上深度神经网络高效实现需求的驱动，神经网络量化已成为常见做法。在本文中，我们利用了大多数网络中被忽视的一个自由度——对于给定的层，只要下一层对应的权重按反比缩放，各输出通道可按任意因子缩放。因此，一个给定的网络具有许多种因式分解方式，可在不改变其功能的情况下改变网络的权重。我们提出了一种概念简单且易于实现的方法，利用这一性质，并表明恰当的因式分解能显著降低量化带来的性能退化。我们在多种网络上展示了改进，并在 MobileNets 上取得了最先进的退化结果。虽然我们的重点在于量化，此类因式分解也适用于其他领域，如网络剪枝、神经网络正则化以及网络可解释性。
引用
@article{arxiv.1902.01917,
title = {Same, Same But Different - Recovering Neural Network Quantization Error Through Weight Factorization},
author = {Eldad Meller and Alexander Finkelstein and Uri Almog and Mark Grobman},
journal= {arXiv preprint arXiv:1902.01917},
year = {2019}
}