面向实用混合精度神经网络的高效位宽搜索
机器学习
2020-03-18 v1 机器学习
摘要
网络量化已迅速成为压缩和加速深度神经网络最广泛使用的方法之一。近期的研究提出对不同层的权重和激活以不同精度进行量化，以提升整体性能。然而，高效地找到每层权重和激活的最优位宽（即精度）具有挑战性。同时，如何在通用硬件平台上对不同精度的权重和激活高效地执行卷积尚不清楚。为解决这两个问题，本文首先提出一种高效位宽搜索（EBS）算法，该算法为不同量化位宽重用元权重，从而每个候选精度的强度可直接针对目标进行优化而无需多余副本，显著降低了内存与计算成本。其次，我们提出一种二值分解算法，将不同精度的权重和激活转换为二值矩阵，使混合精度卷积高效且实用。在CIFAR10和ImageNet数据集上的实验结果表明，我们的混合精度QNN优于手工设计的均匀位宽对应方法及其他混合精度技术。
引用
@article{arxiv.2003.07577,
title = {Efficient Bitwidth Search for Practical Mixed Precision Neural Network},
author = {Yuhang Li and Wei Wang and Haoli Bai and Ruihao Gong and Xin Dong and Fengwei Yu},
journal= {arXiv preprint arXiv:2003.07577},
year = {2020}
}
备注
21 pages, 7 figures