网格博弈：多网格对大型语言模型量化的威力
机器学习
2026-05-13 v1
摘要
量化领域近期的一项重大进展是微缩4位格式，如NVFP4和MXFP4，它们将数值量化为共享一个缩放因子的小组，并假设一个固定的浮点网格。在本文中，我们研究了以下自然扩展：假设对于每组数值，我们可以自由选择由缩放值中的一个或多个比特标记的两个或多个4位网格中“更好”的那个。我们形式化了二次幂网格（PO2）问题，并提供了理论结果，表明诸如MXFP或NVFP等实用的小组格式可以从PO2网格中显著受益，而对于非常大的组，优势则消失。在实际方面，我们实例化了几种网格族，包括1) PO2(NF4)，它将标准NF4正态网格与一个学习到的网格配对，2) MPO2，一个完全基于真实权重和激活学习到的网格对，3) PO2(Split87)，一个显式零非对称网格，以及4) SFP4，一个可在TensorCore上实现的三元组，它将NVFP4与两个移位变体配对。对标准开源模型的后训练量化和类Llama模型的预训练结果表明，在仅权重和权重+激活两种情况下，自适应网格相比单网格FP4持续提高了精度。源代码可在https://github.com/IST-DASLab/GridGames获取。
引用
@article{arxiv.2605.12327,
title = {Grid Games: The Power of Multiple Grids for Quantizing Large Language Models},
author = {Vage Egiazarian and Erik Schultheis and Andrei Panferov and Earl Killian and Torsten Hoefler and Dan Alistarh},
journal= {arXiv preprint arXiv:2605.12327},
year = {2026}
}
备注
Preprint