DreamWalk：基于扩散引导的风格空间探索
计算机视觉与模式识别
2024-04-05 v1
摘要
文本条件扩散模型能够生成令人印象深刻的图像，但在细粒度控制方面存在不足。与 Photoshop 等直接编辑工具不同，文本条件模型要求艺术家进行“提示工程”，即构建特殊的文本句子来控制输出图像中特定主体的风格或数量。我们的目标是提供对提示指定的风格和实质的细粒度控制，例如调整图像不同区域的风格强度（图 1）。我们的方法是将文本提示分解为概念元素，并在单个扩散过程中对每个元素应用单独的引导项。我们引入了引导尺度函数，以控制在扩散过程中的何时以及图像中的何处进行干预。由于该方法仅基于调整扩散引导，因此不需要微调或操纵扩散模型神经网络的内部层，并且可以与 LoRA 或 DreamBooth 训练的模型结合使用（图 2）。项目页面：https://mshu1.github.io/dreamwalk.github.io/
引用
@article{arxiv.2404.03145,
title = {DreamWalk: Style Space Exploration using Diffusion Guidance},
author = {Michelle Shu and Charles Herrmann and Richard Strong Bowen and Forrester Cole and Ramin Zabih},
journal= {arXiv preprint arXiv:2404.03145},
year = {2024}
}