通过元学习实现神经网络自动低比特混合量化
机器学习
2020-04-27 v1 计算机视觉与模式识别
机器学习
摘要
模型量化是一种广泛使用的技术，用于压缩和加速深度神经网络（DNN）推理，尤其在部署到计算能力与功耗预算受限的边缘或 IoT 设备时。所有层统一比特宽度量化通常为次优，而为不同层探索混合量化对高效深度压缩至关重要。本文采用元学习方法自动实现神经网络的低比特混合量化。一个 MetaQuantNet 与量化函数被训练以生成目标 DNN 的量化权重。随后，我们应用遗传算法搜索满足压缩约束的最佳混合量化策略。利用搜索到的最佳量化策略，我们继而重新训练或微调以进一步提升量化目标网络的性能。大量实验表明，所搜索混合量化方案的性能超越统一比特宽度对应方案。相较于现有依赖繁琐探索的基于强化学习（RL）的混合量化搜索方法，我们的元学习方法对任何压缩需求都更高效且有效，因为 MetaQuantNet 只需训练一次。
引用
@article{arxiv.2004.11506,
title = {Automatic low-bit hybrid quantization of neural networks through meta learning},
author = {Tao Wang and Junsong Wang and Chang Xu and Chao Xue},
journal= {arXiv preprint arXiv:2004.11506},
year = {2020}
}
备注
7 pages, 3 figures