基于新颖敏感度度量的无数据混合精度量化
机器学习
2022-01-05 v1 计算机视觉与模式识别
摘要
训练后量化是压缩神经网络、使其更小并更高效部署于边缘设备的代表性技术。然而,不可访问的用户数据集常使得在实践中难以保证量化神经网络的质量。此外,现有方法可能在整个网络中使用单一均匀位宽,导致在极低位宽下出现显著的精度下降。为利用多种位宽,敏感度度量在平衡精度与压缩率方面起着关键作用。本文提出一种考虑量化误差对任务损失的影响及与其他层交互作用的新颖敏感度度量。此外,我们开发了不依赖于神经网络特定操作的标注数据生成方法。实验表明,所提度量能更好地表征量化敏感度,且生成的数据更适用于混合精度量化。
引用
@article{arxiv.2103.10051,
title = {Data-free mixed-precision quantization using novel sensitivity metric},
author = {Donghyun Lee and Minkyoung Cho and Seungwon Lee and Joonho Song and Changkyu Choi},
journal= {arXiv preprint arXiv:2103.10051},
year = {2022}
}
备注
Submission to ICIP2021