DreamSampler：统一扩散采样与分数蒸馏的图像处理方法
计算机视觉与模式识别
2024-09-24 v2 人工智能
机器学习
摘要
近年来，逆向采样和分数蒸馏已成为使用潜扩散模型 (LDM) 进行图像处理的主要支柱。虽然逆向扩散采样通常需要调整LDM架构或进行特征工程，但分数蒸馏提供了一种简单而强大的模型无关方法，但往往容易出现模式崩溃。为了解决这些局限性并发挥两种方法的优势，我们在此引入了一个名为 {\em DreamSampler} 的新框架，通过正则化潜优化的视角无缝集成了这两种不同的方法。与分数蒸馏类似，DreamSampler 是一种适用于任何 LDM 架构的模型无关方法，但它允许通过额外引导进行蒸馏和逆向采样，以用于图像编辑和重建。通过涉及图像编辑、SVG重建等实验，我们证明了 DreamSampler 与现有方法相比具有竞争力的性能，同时提供了新的应用。代码：https://github.com/DreamSampler/dream-sampler
引用
@article{arxiv.2403.11415,
title = {DreamSampler: Unifying Diffusion Sampling and Score Distillation for Image Manipulation},
author = {Jeongsol Kim and Geon Yeong Park and Jong Chul Ye},
journal= {arXiv preprint arXiv:2403.11415},
year = {2024}
}
备注
ECCV 2024