基于单 Hadamard 变换的低位扩散模型量化感知训练——HQ-DM
计算机视觉与模式识别
2025-12-17 v2
摘要
扩散模型在图像生成领域展现出显著应用前景。然而，其高计算和内存开销制约了实际部署。模型量化作为降低存储开销和加速推理的有前景方案。然而，现有针对扩散模型的量化方法难以在推理期间缓解激活矩阵中的离群值，导致低位量化场景下性能显著下降。为此，我们提出了 HQ-DM，一种应用单 Hadamard 变换于激活矩阵的 novel Quantization-Aware Training 框架。该方法有效缓解激活离群值，同时在量化下保持模型性能。与传统双 Hadamard 变换相比，我们的方案具有显著优势，可无缝支持 INT 卷积运算，同时防止权重离群值的放大。对于使用 LDM-4 模型在 ImageNet 256x256 数据集上的条件生成，我们的 W4A4 和 W4A3 量化方案分别相较于现有最先进方法提高了 12.8% 和 467.73% 的 Inception Score。
引用
@article{arxiv.2512.05746,
title = {HQ-DM: Single Hadamard Transformation-Based Quantization-Aware Training for Low-Bit Diffusion Models},
author = {Shizhuo Mao and Hongtao Zou and Qihu Xie and Song Chen and Yi Kang},
journal= {arXiv preprint arXiv:2512.05746},
year = {2025}
}