RaZeR：通过冗余零重映射推动 NVFP4 量化的极限
机器学习
2026-02-03 v3 计算与语言
摘要
最近引入的 NVFP4 格式在量子大语言模型（LLM）推理方面表现出卓越的性能和内存优势。然而，我们注意到 NVFP4 编码中存在两种冗余：（1）FP4 元素格式由于其符号-幅值表示包含正负零，天然暴露出未使用的量化值；（2）FP8 块缩放因子的符号位始终为正，因而未被使用。此外，我们发现 LLM 权重对更低精度的块缩放因子更具容忍性。基于这些观察，我们提出了冗余零重映射（RaZeR），一种增强的数值格式，可在相同内存占用下推动 NVFP4 以获得更准确的 LLM 量化。RaZeR 利用块缩放因子的冗余位来自适应地将冗余的 FP4 零重新映射为额外的量化值，以提高准确性。为展示 RaZeR 的实际应用性，我们设计了高效的 GPU 内核用于 RaZeR 量化的 LLM 推理，并提出了新型硬件以原生支持该技术。大量实验验证了 RaZeR 在 4 位 LLM 量化方面的优越性能。例如，相对于原生 NVFP4，RaZeR 在仅限权重量化和权重-激活量化情况下，分别将平均困惑度损失降低 34.6% 和 31.2%。代码已公开：https://github.com/yc2367/NVFP4-RaZeR。
引用
@article{arxiv.2501.04052,
title = {RaZeR: Pushing the Limits of NVFP4 Quantization with Redundant Zero Remapping},
author = {Yuzong Chen and Xilai Dai and Jake Hyun and Chi-Chih Chang and Wonsuk Jang and Yuheng Wu and Thierry Tambe and Jae-sun Seo and Mohamed S. Abdelfattah},
journal= {arXiv preprint arXiv:2501.04052},
year = {2026}
}
备注
Preprint. Under review