基于 DropBits 的半松弛量化：通过比特级正则化训练低比特神经网络
计算机视觉与模式识别
2021-09-08 v3 机器学习
图像与视频处理
摘要
网络量化旨在降低网络权重与激活值的比特长度，已成为减小神经网络规模以部署到资源受限设备的关键要素之一。为克服将连续激活值与权重转换为离散值这一固有特性，近期称为松弛量化（RQ）[Louizos et al. 2019] 的研究成功采用了流行的 Gumbel-Softmax，其允许通过高效的基于梯度的优化实现该转换。然而，采用此 Gumbel-Softmax 松弛的 RQ 仍受限于依赖于 Gumbel-Softmax 温度参数的偏差-方差权衡。为解决该问题，我们提出一种新方法——半松弛量化（SRQ），其使用多类直通估计器有效降低偏差与方差，并配以一种新的正则化技术 DropBits，后者替代 dropout 正则化随机丢弃比特而非神经元，以进一步降低 SRQ 中多类直通估计器的偏差。作为 DropBits 的自然扩展，我们进一步引入学习异构量化级别的方法，利用 DropBits 为各层寻找合适的比特长度。我们在多个基准数据集与网络架构上实验验证了该方法，并支持了量化彩票假设：学习异构量化级别优于从头使用相同但固定的量化级别。
引用
@article{arxiv.1911.12990,
title = {Semi-Relaxed Quantization with DropBits: Training Low-Bit Neural Networks via Bit-wise Regularization},
author = {Jung Hyun Lee and Jihun Yun and Sung Ju Hwang and Eunho Yang},
journal= {arXiv preprint arXiv:1911.12990},
year = {2021}
}
备注
New submission with another link