SinDDM：单图像去噪扩散模型
计算机视觉与模式识别
2023-06-08 v3 机器学习
图像与视频处理
摘要
去噪扩散模型 (DDM) 在图像生成、编辑和修复方面取得了惊人的性能飞跃。然而，现有的 DDM 使用非常大的数据集进行训练。在此，我们介绍了一种在单张图像上训练 DDM 的框架。我们的方法被称为 SinDDM，通过使用多尺度扩散过程来学习训练图像的内部统计信息。为了驱动反向扩散过程，我们使用了一个全卷积的轻量级去噪器，该去噪器以噪声级别和尺度为条件。该架构允许以由粗到细的方式生成任意维度的样本。如我们所展示的，SinDDM 生成多样且高质量的样本，并适用于包括风格迁移和协调在内的广泛任务。此外，它可以很容易地通过外部监督进行引导。特别地，我们展示了使用预训练的 CLIP 模型从单张图像进行文本引导生成。
引用
@article{arxiv.2211.16582,
title = {SinDDM: A Single Image Denoising Diffusion Model},
author = {Vladimir Kulikov and Shahar Yadin and Matan Kleiner and Tomer Michaeli},
journal= {arXiv preprint arXiv:2211.16582},
year = {2023}
}
备注
Updated for ICML 2023 and added the Appendix. Note that the images are lightly compressed. Visit our project page for uncompressed results: https://matankleiner.github.io/sinddm/