PQCAD-DM：面向极高效率扩散模型的渐进量化与校准辅助蒸馏
计算机视觉与模式识别
2025-06-23 v1 人工智能
摘要
扩散模型在图像生成方面表现出色，但由于其依赖于迭代马尔可夫链过程，计算和资源密集，导致误差累积并限制了朴素压缩技术的有效性。在本文中，我们提出了PQCAD-DM，一种新颖的混合压缩框架，结合了渐进量化(PQ)和校准辅助蒸馏(CAD)以应对这些挑战。PQ采用两阶段量化，通过动量引导机制实现自适应位宽转换，减少了低精度下的过度权重扰动。CAD在蒸馏过程中利用全精度校准数据集，使学生模型即使使用量化教师模型也能匹配全精度性能。因此，PQCAD-DM在计算效率和生成质量之间取得了平衡，将推理时间减半，同时保持了有竞争力的性能。大量实验验证了PQCAD-DM在不同数据集上优越的生成能力和效率，优于固定位宽量化方法。
引用
@article{arxiv.2506.16776,
title = {PQCAD-DM: Progressive Quantization and Calibration-Assisted Distillation for Extremely Efficient Diffusion Model},
author = {Beomseok Ko and Hyeryung Jang},
journal= {arXiv preprint arXiv:2506.16776},
year = {2025}
}
备注
10 pages, 6 figures