Delta去噪分数
计算机视觉与模式识别
2023-04-17 v1 图形学
机器学习
摘要
我们提出 Delta Denoising Score（DDS），一种用于基于文本的图像编辑的新型评分函数，它引导输入图像朝目标提示所描述的内容进行最小修改。DDS 利用了文本到图像扩散模型的丰富生成先验，并可用作优化问题中的损失项，以将图像导向文本所指定的期望方向。DDS 将 Score Distillation Sampling（SDS）机制用于图像编辑目的。我们表明，仅使用 SDS 常因梯度含噪而产生缺乏细节且模糊的输出。为解决此问题，DDS 使用与输入图像匹配的提示来识别并去除 SDS 的不期望错误方向。我们的核心前提是，当在匹配的提示与图像对上计算时 SDS 应为零，这意味着若分数非零，其梯度可归因于 SDS 的错误分量。我们的分析展示了 DDS 在基于文本的图像到图像翻译中的能力。我们进一步表明 DDS 可用于训练一个有效的零样本图像翻译模型。实验结果表明，DDS 在稳定性和质量上优于现有方法，凸显了其在基于文本的图像编辑中实际应用的潜力。
引用
@article{arxiv.2304.07090,
title = {Delta Denoising Score},
author = {Amir Hertz and Kfir Aberman and Daniel Cohen-Or},
journal= {arXiv preprint arXiv:2304.07090},
year = {2023}
}
备注
Project page: https://delta-denoising-score.github.io/