基于粗到细抽样的加速 DDPM 图像填充
计算机视觉与模式识别
2024-07-09 v1
摘要
对于图像填充，现有的基于去噪扩散概率模型（DDPM）的方法，例如 RePaint，可以为任何填充形式生成高质量图像。其方法是利用预训练的 DDPM 作为先验，并通过条件限制于反向扩散过程（即去噪过程）来生成填充结果。然而，这一过程计算耗时。本文提出了一种高效的 DDPM 图像填充方法，包含三个加速策略。首先，我们利用预训练的轻量扩散模型（LWDM）以减少参数数量。其次，我们引入基于 DDIM 的跳过步长抽样方案用于去噪过程。最后，我们提出粗到细抽样（CFS），通过在粗糙阶段减少图像分辨率并在细化阶段减少去噪时间步来加速推理。我们在面部图像填充和通用图像填充任务上进行了广泛实验，所提方法实现了约60倍的加速，同时保持竞争性能。
引用
@article{arxiv.2407.05875,
title = {Minutes to Seconds: Speeded-up DDPM-based Image Inpainting with Coarse-to-Fine Sampling},
author = {Lintao Zhang and Xiangcheng Du and LeoWu TomyEnrique and Yiqun Wang and Yingbin Zheng and Cheng Jin},
journal= {arXiv preprint arXiv:2407.05875},
year = {2024}
}
备注
The code is avaliable at: https://github.com/linghuyuhangyuan/M2S