NIPQ：基于噪声代理的集成伪量化
机器学习
2023-07-04 v2
摘要
直通估计器（STE）通过近似使梯度流经不可微函数，在量化感知训练（QAT）相关研究中备受青睐。然而，STE 在 QAT 期间会导致收敛不稳定，造成低精度下显著的质量退化。近来，伪量化训练作为一种替代方法被提出，其使用伪量化噪声而非 STE 来更新可学习参数。在本研究中，我们提出一种新颖的基于噪声代理的集成伪量化（NIPQ），通过将截断思想集成到伪量化框架中，实现对激活与权重的伪量化统一支持。NIPQ 通过梯度下降更新所有量化参数（如位宽与截断边界）以及网络参数，且避免了 STE 的不稳定性。根据我们广泛的实验，NIPQ 在各种视觉与语言应用上大幅优于现有量化算法。
引用
@article{arxiv.2206.00820,
title = {NIPQ: Noise proxy-based Integrated Pseudo-Quantization},
author = {Juncheol Shin and Junhyuk So and Sein Park and Seungyeop Kang and Sungjoo Yoo and Eunhyeok Park},
journal= {arXiv preprint arXiv:2206.00820},
year = {2023}
}