FP8 量化：指数的力量
机器学习
2024-02-26 v2
摘要
在为高效推理量化神经网络时，低比特整数是出于效率考虑的常用格式。然而，低比特浮点数具有额外的自由度，将一些比特分配在指数尺度上工作。本文深入研究了浮点格式在神经网络推理中的这一优势。我们详述了 FP8 格式可做的选择，包括尾数和指数比特数这一重要选择，并从解析上展示了在哪些设定下这些选择能带来更好性能。然后我们展示这些发现如何转化到真实网络，提供了 FP8 仿真的高效实现，以及一种新算法，能够学习 FP8 格式中的缩放参数和指数比特数。我们的主要结论是，在对广泛网络进行训练后量化时，FP8 格式在精度上优于 INT8，且指数比特数的选择由网络中离群值的严重程度所驱动。我们还进行了量化感知训练的实验，其中格式间的差异随着网络被训练以减少离群值影响而消失。
引用
@article{arxiv.2208.09225,
title = {FP8 Quantization: The Power of the Exponent},
author = {Andrey Kuzmin and Mart Van Baalen and Yuwei Ren and Markus Nagel and Jorn Peters and Tijmen Blankevoort},
journal= {arXiv preprint arXiv:2208.09225},
year = {2024}
}