对比提示改进文本到图像扩散模型中的解耦
计算机视觉与模式识别
2024-02-22 v1
摘要
文本到图像扩散模型在图像合成中取得了显著性能，但文本接口并不总能对某些图像因素提供细粒度控制。例如，改变文本中的单个标记可能会对图像产生意外影响。本文表明，对无分类器引导的简单修改可以帮助解耦文本到图像模型中的图像因素。我们方法的关键思想，对比引导，是用两个在最小标记上不同的提示来表征预期因素：正向提示描述要合成的图像，基线提示作为“基线”解耦其他因素。对比引导是一种通用方法，我们在三种场景中展示了其优势：(1) 引导在对象类别上训练的特定领域扩散模型，(2) 获得连续的、类似操纵杆的控制用于文本到图像生成，(3) 提高零样本图像编辑器的性能。
引用
@article{arxiv.2402.13490,
title = {Contrastive Prompts Improve Disentanglement in Text-to-Image Diffusion Models},
author = {Chen Wu and Fernando De la Torre},
journal= {arXiv preprint arXiv:2402.13490},
year = {2024}
}