AdaBits：具有自适应位宽的神经网络量化
计算机视觉与模式识别
2020-03-17 v2 机器学习
神经与进化计算
摘要
具有自适应配置的深度神经网络因可在具有不同资源预算的平台上即时灵活部署而受到越来越多的关注。本文中，我们研究了一种实现该目标的新途径，即启用模型中权重与激活的自适应位宽。我们首先考察了训练具有自适应位宽的量化模型的益处与挑战，随后试验了若干方法，包括直接适配、渐进式训练与联合训练。我们发现联合训练能够在自适应模型上产生与独立模型相当的性能。我们进一步提出了一种名为可切换截断水平（Switchable Clipping Level, S-CL）的新技术，以进一步改进最低位宽下的量化模型。将我们所提技术应用于包括 MobileNet-V1/V2 与 ResNet-50 在内的一系列模型，我们证明了权重与激活的位宽是自适应可执行深度神经网络的一个新选项，为改善精度-效率权衡以及根据实际应用中的平台约束进行即时适配提供了独特机遇。
引用
@article{arxiv.1912.09666,
title = {AdaBits: Neural Network Quantization with Adaptive Bit-Widths},
author = {Qing Jin and Linjie Yang and Zhenyu Liao},
journal= {arXiv preprint arXiv:1912.09666},
year = {2020}
}
备注
CVPR 2020