OSC：基于通道维度异常分离的W4A4量化硬件高效实现
机器学习
2026-04-15 v1 人工智能
摘要
4位量化对于大型语言模型的高吞吐量部署至关重要，但由于低位格式的受限动态范围，激活异常值常常导致显著的精度下降。本文系统性地研究了异常值的空间分布，证明存在令牌持续的结构聚类效应，即高幅值异常值始终占据固定通道。基于此洞察，我们提出了OSC—a一种硬件高效的异常抑制框架。在推理期间，OSC执行由低精度4位通用矩阵乘法（GEMM）路径和高精度16位分支GEMM路径组成的双路径计算。具体而言，OSC采用离线的基于组的策略识别异常值所在的通道，然后在在线过程中对这些分散的激活通道进行结构子张量提取以聚合为紧凑的稠密张量。该机制通过正规化和高吞吴量的GEMM操作实现异常保护，能够无缝适配现代4位微标量硬件。此外，对于W2输入，异常聚类不那么显著，我们集成了回退到FP8的策略。在Qwen3-8B和Qwen3-30B上的评估显示，平均精度下降分别为2.19和1.12分。值得注意的是，OSC高度硬件友好，在现代AI加速器上相较于W8A8 GEMM基准实现了最高1.78倍的加速。
引用
@article{arxiv.2604.12782,
title = {OSC: Hardware Efficient W4A4 Quantization via Outlier Separation in Channel Dimension},
author = {Zhiyuan Zhang and Yanzhao Li and Zhiqiang Zou and Bai Du and Yupeng Sun and Hui Dong and Hui Wang},
journal= {arXiv preprint arXiv:2604.12782},
year = {2026}
}