自适应分块缩放数据类型
计算与语言
2026-03-31 v1
摘要
NVFP4作为一种4位格式用于量化大语言模型，因其硬件支持以及以相对较少的每参数量保留有用信息的能力而日益流行。然而，该格式并非没有局限性：近期研究表明NVFP4存在误差分布问题，导致每组16个值中接近最大值的部分产生大量量化误差。在本工作中，我们利用这一洞察设计了新的自适应分块缩放数据类型，可根据输入值的分布进行自适应调整。对于4位量化，我们提出的IF4（Int/Float 4）数据类型在每组16个值之间选择FP4和INT4表示，然后像NVFP4一样由E4M3缩放因子进行缩放。所选数据类型由缩放因子的符号位表示，该位在NVFP4中当前未被使用，我们将同样的洞察应用于设计其他位宽的格式，包括IF3和IF6。在用于量化语言模型时，我们发现IF4优于现有的4位分块缩放格式，在量化训练期间实现了更低的损失，并在许多任务的后训练量化中实现了更高的准确率。我们还设计并评估了一个IF4乘加（MAC）单元，以证明IF4可以在下一代硬件加速器上高效实现。我们的代码可在 https://github.com/mit-han-lab/fouroversix 获取。
引用
@article{arxiv.2603.28765,
title = {Adaptive Block-Scaled Data Types},
author = {Jack Cook and Hyemin S. Lee and Kathryn Le and Junxian Guo and Giovanni Traverso and Anantha P. Chandrakasan and Song Han},
journal= {arXiv preprint arXiv:2603.28765},
year = {2026}
}
备注
19 pages, 9 figures