PassionSR：基于单步扩散的自适应比例后训练量化图像超分辨率
计算机视觉与模式识别
2024-12-04 v3
摘要
扩散式图像超分辨率 (SR) 模型在降低多个去噪步骤的同时展现了卓越性能。然而，尽管去噪步骤已减少至单步，仍需高计算成本和存储需求，限制了其在硬件设备上的部署。为此，我们提出一种基于单步扩散的自适应比例后训练量化方法，用于图像 SR，名为 PassionSR。首先，我们通过移除 CLIPEncoder 将 OSD 模型简化为 UNet 和 变分自编码器 (VAE) 两个核心组件。其次，我们提出可学习边界量化器 (LBQ) 和可学习等效转换 (LET) 以优化量化过程并提升激活分布以获得更佳量化效果。最后，我们设计了分布式量化校准 (DQC) 策略，以稳定量化参数的训练并实现快速收敛。广泛实验表明，PassionSR 在 8 位和 6 位下的视觉效果与全精度模型相当。此外，我们的 PassionSR 在视觉效果和支持的低比特量化方法方面均显著优于最近的领先方法。我们的代码将置于 https://github.com/libozhu03/PassionSR。
引用
@article{arxiv.2411.17106,
title = {PassionSR: Post-Training Quantization with Adaptive Scale in One-Step Diffusion based Image Super-Resolution},
author = {Libo Zhu and Jianze Li and Haotong Qin and Wenbo Li and Yulun Zhang and Yong Guo and Xiaokang Yang},
journal= {arXiv preprint arXiv:2411.17106},
year = {2024}
}
备注
https://github.com/libozhu03/PassionSR