剪枝与量化：孰优孰劣？
机器学习
2024-02-19 v2
摘要
神经网络剪枝与量化技术几乎与神经网络本身一样古老。然而，迄今为止仅发表了两者之间临时的比较。在本文中，我们着手回答哪个更优的问题：神经网络量化还是剪枝？通过回答此问题，我们希望为未来神经网络硬件的设计决策提供参考。我们提供了两种压缩深度神经网络技术之间的广泛比较。首先，我们对一般数据分布下预期的量化与剪枝误差给出分析比较。然后，我们给出训练网络中逐层剪枝与量化误差的下界，并将其与优化后的经验误差进行比较。最后，我们提供了在 3 个任务上训练 8 个大规模模型的广泛实验比较。我们的结果表明，在大多数情况下量化优于剪枝。仅在极少数极高压缩比的场景中，从精度角度看剪枝可能有益。
引用
@article{arxiv.2307.02973,
title = {Pruning vs Quantization: Which is Better?},
author = {Andrey Kuzmin and Markus Nagel and Mart van Baalen and Arash Behboodi and Tijmen Blankevoort},
journal= {arXiv preprint arXiv:2307.02973},
year = {2024}
}