MXFP4量化潜力揭示：面向量化误差降低的策略
硬件体系结构
2026-03-11 v1 人工智能
机器学习
性能
摘要
大型语言模型(LLM)加剧了需要高效低精度格式以实现大规模推理的需求。开放计算计划(OCP)微标量(MX)标准因硬件效率 favorable 而引人注目，但其4位变体(MXFP4)在准确度上落后于NVIDIA的NVFP4，限制了其采纳。我们引入两种软件-only技术，溢出感知缩放(OAS)和宏块缩放(MBS)，改善MXFP4量化保真度，无需硬件更改。OAS通过增加在幂OfTwo块缩放下的有效动态范围来降低整体误差，MBS在较粗的细节上分配更高精度的缩放，以更好地保留异常值。 在多个LLM和标准下游基准测试中，OAS和MBS将MXFP4与NVFP4之间=end-to-end准确度差距从约10%降至1%以下，同时承担 modest GEMM开销(平均为6.2%)。这些结果重新确立了MXFP4作为NVFP4实用替代方案的地位，使其在保持MX硬件效率优势(例如在张量核心中实现12%相对面积节省)的同时，达到接近NVFP4的准确度。
引用
@article{arxiv.2603.08713,
title = {Unveiling the Potential of Quantization with MXFP4: Strategies for Quantization Error Reduction},
author = {Jatin Chhugani and Geonhwa Jeong and Bor-Yiing Su and Yunjie Pan and Hanmei Yang and Aayush Ankit and Jiecao Yu and Summer Deng and Yunqing Chen and Nadathur Satish and Changkyu Kim},
journal= {arXiv preprint arXiv:2603.08713},
year = {2026}
}