基于渐进校准与激活松弛的文本到图像扩散模型训练后量化
计算机视觉与模式识别
2024-07-09 v3 机器学习
摘要
高计算开销是扩散模型的一个棘手问题。近期研究利用训练后量化（PTQ）来压缩扩散模型。然而，它们大多仅关注无条件模型，而广泛使用的预训练文本到图像模型（如 Stable Diffusion）的量化在很大程度上未被探索。本文中，我们提出一种用于文本到图像扩散模型的新颖训练后量化方法 PCR（渐进校准与松弛），其包含考虑跨时间步累积量化误差的渐进校准策略，以及以可忽略成本提升性能的激活松弛策略。此外，我们证明先前用于文本到图像扩散模型量化的指标因分布差距而不准确。为解决该问题，我们提出新颖的 QDiffBench 基准，其利用同一领域的数据进行更准确的评估。此外，QDiffBench 还考虑了量化模型在校准数据集之外的泛化性能。在 Stable Diffusion 和 Stable Diffusion XL 上的大量实验证明了我们的方法与基准的优越性。而且，我们是首个在保持性能的同时实现 Stable Diffusion XL 量化的工作。
引用
@article{arxiv.2311.06322,
title = {Post-training Quantization for Text-to-Image Diffusion Models with Progressive Calibration and Activation Relaxing},
author = {Siao Tang and Xin Wang and Hong Chen and Chaoyu Guan and Zewen Wu and Yansong Tang and Wenwu Zhu},
journal= {arXiv preprint arXiv:2311.06322},
year = {2024}
}
备注
Accepted by ECCV2024