高效且快速：一种用于混合精度量化的新型顺序单路径搜索方法
计算机视觉与模式识别
2021-03-05 v1 硬件体系结构
摘要
由于模型量化有助于减小模型规模和计算延迟，已成功应用于手机、嵌入式设备和智能芯片的许多应用中。混合精度量化模型可根据不同层的敏感度匹配不同的量化比特精度，从而获得优异性能。然而，如何根据某些约束（如硬件资源、能耗、模型规模和计算延迟）快速确定深度神经网络中各层的量化比特精度是一个难题。为解决该问题，我们提出一种用于混合精度量化的新型顺序单路径搜索（SSPS）方法，将给定约束引入其损失函数以引导搜索过程。采用单路径搜索单元结合全可微超网（supernet），可通过基于梯度的算法优化。此外，我们根据选择确定性依次确定候选精度，从而指数级缩减搜索空间并加速搜索过程收敛。实验表明，我们的方法能在给定约束下为不同架构（如 ResNet-20、18、34、50 和 MobileNet-V2）和数据集（如 CIFAR-10、ImageNet 和 COCO）高效搜索混合精度模型，且实验结果验证了 SSPS 显著优于其均匀精度对应模型。
引用
@article{arxiv.2103.02904,
title = {Effective and Fast: A Novel Sequential Single Path Search for Mixed-Precision Quantization},
author = {Qigong Sun and Licheng Jiao and Yan Ren and Xiufang Li and Fanhua Shang and Fang Liu},
journal= {arXiv preprint arXiv:2103.02904},
year = {2021}
}