BitPruning：学习位长以实现激进且准确的量化
机器学习
2020-08-13 v2 机器学习
摘要
神经网络已明确证明可使用低比特整数量化实现最先进的准确率，在支持短比特的现有硬件设计上带来执行时间与能耗收益。然而，为所需准确率寻找最小比特长度的问题仍待解决。我们引入一种训练方法，以任意粒度最小化推理位长同时保持准确率。具体而言，我们提出一种正则化项，惩罚整个架构中的大比特长表示，并展示如何修改它以最小化其他可量化准则，如操作数或内存占用。我们证明本方法在学习节俭表示的同时保持准确率。在 ImageNet 上，该方法在 AlexNet、ResNet18 与 MobileNet V2 上分别产生平均每层 4.13、3.76 与 4.36 比特的位长，且分别保持在基准 TOP-1 准确率的 2.0%、0.5% 与 0.5% 以内。
引用
@article{arxiv.2002.03090,
title = {BitPruning: Learning Bitlengths for Aggressive and Accurate Quantization},
author = {Miloš Nikolić and Ghouthi Boukli Hacene and Ciaran Bannon and Alberto Delmas Lascorz and Matthieu Courbariaux and Yoshua Bengio and Vincent Gripon and Andreas Moshovos},
journal= {arXiv preprint arXiv:2002.03090},
year = {2020}
}