DuQuant++：基于细粒度旋转的微量化 FP4 量化
计算机视觉与模式识别
2026-04-22 v2 人工智能
计算与语言
摘要
MXFP4 微量化格式将张量划分为 32 个元素组成的块，共享 E8M0 量化因子，已成为高效 LLM 推理的有前景载体，凭借在 NVIDIA Blackwell Tensor 核心上的原生硬件支持。然而，激活异常值在该格式下提出独特挑战：单个异常值会膨胀共享块尺度，压缩剩余元素的有效动态范围，导致显著量化误差。现有基于旋转的补救措施，包括随机哈达巴尔和可学习旋转，均数据不可感知，无法针对异常值集中出现的通道进行针对性处理。我们提出 DuQuant++，将 DuQuant 中的异常值感知细粒度旋转适用于 MXFP4 格式，通过将旋转块大小与微量化组大小（B{=}32）对齐。由于每个 MXFP4 组都拥有独立的量化因子，原论文中需要双重旋转和 zig-zag 置换的跨块方差问题便不复存在，DuQuant++ 可用单个异常值感知旋转取代整个流水线，既降低了在线旋转成本减半，又平滑了权重分布。对 LLaMA-3 系列在 MXFP4 W4A4 量化下的广泛实验表明，DuQuant++ 在性能上始终实现了最先进水平。我们的代码已公开于 https://github.com/Hsu1023/DuQuant-v2。
引用
@article{arxiv.2604.17789,
title = {DuQuant++: Fine-grained Rotation Enhances Microscaling FP4 Quantization},
author = {Haokun Lin and Xinle Jia and Haobo Xu and Bingchen Yao and Xianglong Guo and Yichen Wu and Zhichao Lu and Ying Wei and Qingfu Zhang and Zhenan Sun},
journal= {arXiv preprint arXiv:2604.17789},
year = {2026}
}
备注
Technical Report