面向扩散模型精确训练后量化
计算机视觉与模式识别
2024-05-01 v4
摘要
本文提出一种用于高效图像生成的扩散模型精确无数据训练后量化框架（ADP-DM）。传统的无数据量化方法学习共享的量化函数以进行张量离散化，而不考虑生成时间步，然而激活分布在不同时间步间差异显著。校准图像在随机时间步获取，无法为可泛化的量化函数学习提供充足信息。这两个问题均导致明显的量化误差与图像生成性能退化。相反，我们为不同时间步的激活离散化设计分组量化函数，并采样最优时间步以生成信息丰富的校准图像，从而使我们的量化扩散模型能以可忽略的计算开销降低离散化误差。具体而言，我们根据各组量化函数的重要性权重划分时间步，并通过可微搜索算法进行优化。我们还依据结构风险最小化原则选择用于校准图像生成的最优时间步，以增强量化扩散模型部署中的泛化能力。大量实验结果表明，我们的方法以相似的计算成本比最先进的扩散模型训练后量化方法取得明显更优的性能。
引用
@article{arxiv.2305.18723,
title = {Towards Accurate Post-training Quantization for Diffusion Models},
author = {Changyuan Wang and Ziwei Wang and Xiuwei Xu and Yansong Tang and Jie Zhou and Jiwen Lu},
journal= {arXiv preprint arXiv:2305.18723},
year = {2024}
}