面向目标检测的低位宽卷积神经网络量化与训练
机器学习
2017-08-18 v2
摘要
我们提出LBW-Net，一种基于高效优化的低位宽卷积神经网络（CNN）量化与训练方法。具体而言，我们在反向传播过程中通过最小化全精度权重与量化权重之间的欧氏距离，将权重量化为零或2的幂。我们刻画了低位宽量化问题的组合性质。对于2位（三值）CNN，个权重的量化可通过一个精确公式在复杂度内完成。当位宽为3及以上时，我们进一步提出一种半解析阈值方案，该方案仅含一个自由参数用于量化，计算成本低廉。该自由参数进一步通过网络重训练和目标检测测试确定。LBW-Net相较于全精度CNN具有多项显著优势，包括可观的内存节省、能效提升和更快的部署速度。我们在PASCAL VOC数据集上的实验表明，与其32位浮点对应模型相比，6位LBW-Net在目标检测任务中的性能几乎无损，在某些真实世界视觉场景中甚至表现更佳，同时经验上享有超过4倍的部署加速。
引用
@article{arxiv.1612.06052,
title = {Quantization and Training of Low Bit-Width Convolutional Neural Networks for Object Detection},
author = {Penghang Yin and Shuai Zhang and Yingyong Qi and Jack Xin},
journal= {arXiv preprint arXiv:1612.06052},
year = {2017}
}