如何为量化感知训练参数化非对称量化范围
机器学习
2024-04-29 v1 人工智能
摘要
本文研究了用于量化感知训练的非对称均匀量化的三种不同参数化方法：(1) 尺度与偏移量，(2) 最小值与最大值，以及 (3) beta 与 gamma。我们使用受控实验和真实世界的大语言模型，对这些参数化方法对量化感知训练的影响进行了全面的比较分析。我们特别关注它们在响应关键训练超参数、比特宽度和学习率时的行为变化。基于我们的研究，我们提出了最佳实践，以利用可学习的非对称量化范围来稳定和加速量化感知训练。
引用
@article{arxiv.2404.16898,
title = {How to Parameterize Asymmetric Quantization Ranges for Quantization-Aware Training},
author = {Jaeseong You and Minseop Park and Kyunggeun Lee and Seokjun An and Chirag Patel and Markus Nage},
journal= {arXiv preprint arXiv:2404.16898},
year = {2024}
}