GradFreeBits：面向动态低精度神经网络的免梯度比特分配
机器学习
2021-02-19 v1 计算机视觉与模式识别
摘要
量化神经网络（QNNs）是在低资源边缘设备上部署深度神经网络的主要方法之一。在网络中采用不同精度级别（动态量化）训练 QNN 通常能在性能和计算负载之间实现更优的权衡。然而，优化 QNN 的不同精度级别可能很复杂，因为比特分配的值是离散的且难以求导。此外，充分考量不同层比特分配之间的依赖关系也并非易事。为应对这些挑战，我们在本工作中提出 GradFreeBits：一种用于训练动态 QNN 的新型联合优化方案，其在基于梯度的权重优化与免梯度的比特分配优化之间交替进行。我们的方法在 CIFAR10/100 和 ImageNet 分类上取得了优于或等同于当前最先进低精度神经网络的性能。此外，我们的方法可扩展至涉及神经网络与难以优化的参数协同使用的多种其他应用。
引用
@article{arxiv.2102.09298,
title = {GradFreeBits: Gradient Free Bit Allocation for Dynamic Low Precision Neural Networks},
author = {Benjamin J. Bodner and Gil Ben Shalom and Eran Treister},
journal= {arXiv preprint arXiv:2102.09298},
year = {2021}
}