SOAR：面向NVFP4量化的比例优化精确重构
机器学习
2026-05-13 v1
摘要
NVFP4最近作为大型语言模型（LLM）的一种高效4位微标量格式，能够提供优于寻常的数值保真度，并支持原生硬件。然而，现有方法往往因尺度选择不灵活以及量化尺度与去量化尺度耦合处理而导致性能次优。为此，我们提出比例优化精确重构（SOAR），一种新颖的后训练量化框架，用于提高NVFP4量化的准确性。其核心是闭式联合尺度优化（CJSO），通过从重构误差最小化推导得到的解析解联合优化全局尺度和块级尺度。此外，它融合了解耦尺度搜索（DSS）。DSS将高精度量化尺度从其受限去量化尺度中解耦，并进行离散搜索以减轻尺度量化导致的精度损失。广泛的实验表明，我们的方法在多个LLM上均一致优于现有的NVFP4量化基准，在相同的内存占用下实现更佳的准确性，且无需额外硬件开销。代码和模型将在 https://github.com/steven-bao1/SOAR 提供。
引用
@article{arxiv.2605.12245,
title = {SOAR: Scale Optimization for Accurate Reconstruction in NVFP4 Quantization},
author = {Chengzhu Bao and Xianglong Yan and Zhiteng Li and Guangshuo Qin and Guanghua Yu and Yulun Zhang},
journal= {arXiv preprint arXiv:2605.12245},
year = {2026}
}