Q-Rater：用于训练后均匀量化的非凸优化
机器学习
2021-05-06 v1 最优化与控制
摘要
各种训练后均匀量化方法通常基于凸优化进行研究。因此，以往大多数方法依赖量化误差最小化和/或二次近似。当采用大量化位宽时，此类方法计算高效且合理。然而，当量化位宽相对较低时，非凸优化对于提升模型精度不可避免。本文提出一种考虑非凸性的新训练后均匀量化技术。我们通过经验表明，权重与激活的截断和舍入超参数可通过监测任务损失来探索。然后，将最优搜索得到的超参数集合冻结以进入下一层，从而实现对训练后量化的增量非凸优化。通过使用多种模型的广泛实验结果，我们提出的技术展现出更高的模型精度，尤其在低位宽量化下。
引用
@article{arxiv.2105.01868,
title = {Q-Rater: Non-Convex Optimization for Post-Training Uniform Quantization},
author = {Byeongwook Kim and Dongsoo Lee and Yeonju Ro and Yongkweon Jeon and Se Jung Kwon and Baeseong Park and Daehwan Oh},
journal= {arXiv preprint arXiv:2105.01868},
year = {2021}
}