MASQuant：多模态大语言模型的模态感知平滑量化
计算机视觉与模式识别
2026-03-06 v1
摘要
后训练量化 (PTQ) 对于大型语言模型 (LLM) 已在计算不变性方面取得了显著进展，但其应用于多模态大语言模型 (MLLM) 面临重大挑战。本文以 SmoothQuant 为案例研究，识别了两个关键问题：平滑错位和跨模态计算不变性。为解决这些问题，我们提出了模态感知平滑量化 (MASQuant) 框架，引入 (1) 模态感知平滑 (MAS)，学习独立的、模态特定的平滑因子以防止平滑错位；(2) 跨模态补偿 (CMC)，通过使用 SVD 白化将多模态激活差异转换为低秩形式，实现跨模态的统一量化。MASQuant 在双模态和三模态 MLLM 上均表现出稳定的量化性能。实验结果表明，MASQuant 在各种 PTQ 算法中具有竞争力。源码：https://github.com/alibaba/EfficientAI。
引用
@article{arxiv.2603.04800,
title = {MASQuant: Modality-Aware Smoothing Quantization for Multimodal Large Language Models},
author = {Lulu Hu and Wenhu Xiao and Xin Chen and Xinhua Xu and Bowen Xu and Kun Li and Yongliang Tao},
journal= {arXiv preprint arXiv:2603.04800},
year = {2026}
}
备注
Accepted to CVPR 2026