用于图像到图像转换的扩散模型压缩
计算机视觉与模式识别
2024-10-11 v2
摘要
随着大规模文本到图像（T2I）扩散模型在生成高质量图像方面取得显著进展，各种下游图像到图像（I2I）应用应运而生。尽管这些 I2I 模型取得了令人瞩目的成果，但其实用性受到庞大的模型规模和迭代去噪过程带来的计算负担的阻碍。本文提出一种专为基于扩散的 I2I 模型量身定制的新型压缩方法。基于观察到 I2I 模型的图像条件已提供丰富的图像结构信息，且影响较大的时间步往往存在偏置，我们开发了出奇简单却有效的方法来减小模型规模和延迟。我们在三个具有代表性的 I2I 任务上验证了该方法的有效性：用于图像编辑的 InstructPix2Pix、用于图像恢复的 StableSR 以及用于图像条件图像生成的 ControlNet。我们的方法在获得令人满意的输出质量的同时，对 InstructPix2Pix、StableSR 和 ControlNet 分别实现了 39.2%、56.4% 和 39.2% 的模型占用空间缩减，以及 81.4%、68.7% 和 31.1% 的延迟降低。
引用
@article{arxiv.2401.17547,
title = {Diffusion Model Compression for Image-to-Image Translation},
author = {Geonung Kim and Beomsu Kim and Eunhyeok Park and Sunghyun Cho},
journal= {arXiv preprint arXiv:2401.17547},
year = {2024}
}
备注
ACCV 2024