中文

BATQuant:基于可学习块级优化的鲁棒 MXFP4 量化

计算与语言 2026-03-18 v1 人工智能

摘要

微量级浮点 (MXFP) 格式已成为部署多模态大语言模型 (MLLM) 和大语言模型 (LLM) 在现代加速器架构上的热门标准。然而,现有的后训练量化 (PTQ) 方法,特别是针对整数格式设计的旋转式技术,在应用于 MXFP4 时会出现严重的性能崩溃。最近的研究将此失败归因于根本性的格式不匹配:全局正交旋转不小心将异常能量在量化块之间传递,导致新的异常值破坏局部块级缩放,同时常常创建双峰激活分布,浪费了有限的量化范围。为解决这些问题,我们提出 BATQuant (Block-wise Affine Transformation),限制转换以符合 MXFP 粒度,从而防止跨块异常值传播,同时放宽正交约束以优化分布塑形。为确保参数效率,我们引入全局和私有 Kronecker (GPK) 分解,以有效降低存储和运行时开销,并纳入块级可学习裁剪以抑制残余异常值。在 MLLMs 和 LLMs 上进行大量实验表明,BATQuant 在激进的 W4A4KV16 配置下建立了最新的 SOTA 结果,在多模态基准测试中恢复最高可达 96.43% 的全精度性能,在各种任务中均显著优于现有方法。

关键词

引用

@article{arxiv.2603.16590,
  title  = {BATQuant: Outlier-resilient MXFP4 Quantization via Learnable Block-wise Optimization},
  author = {Ji-Fu Li and Manyi Zhang and Xiaobo Xia and Han Bao and Haoli Bai and Zhenhua Dong and Xianzhi Yu},
  journal= {arXiv preprint arXiv:2603.16590},
  year   = {2026}
}

备注

30 pages, 13 figures, 7 tables