改进的自适应位宽深度网络量化技术
计算机视觉与模式识别
2021-09-20 v3
摘要
采用自适应位宽量化深度网络是一种在多种设备与资源约束下实现高效推理的有前景技术。与为不同约束重复量化过程并训练不同模型的静态方法相反，自适应量化使我们能在推理时灵活调整单一深度网络的位宽，以在不同场景中即时适配。尽管现有研究在常见图像分类基准上展示了令人鼓舞的结果，本文探究如何更有效地训练此类自适应网络。具体而言，我们提出两种用于权重与激活自适应位宽量化的新技术。首先，我们提出一种协作策略，为低精度学生选择高精度教师以迁移知识，同时用所有位宽联合优化模型。其次，为有效迁移知识，我们开发一种动态块交换方法，随机将低精度学生网络中的块替换为高精度教师网络中对应块。在多个图像分类数据集（包括首次涉及的视频分类基准）上的大量实验，充分证明了我们的方法优于最先进（state-of-the-art）方法。
引用
@article{arxiv.2103.01435,
title = {Improved Techniques for Quantizing Deep Networks with Adaptive Bit-Widths},
author = {Ximeng Sun and Rameswar Panda and Chun-Fu Chen and Naigang Wang and Bowen Pan and Kailash Gopalakrishnan and Aude Oliva and Rogerio Feris and Kate Saenko},
journal= {arXiv preprint arXiv:2103.01435},
year = {2021}
}