DM-Align：利用自然语言指令的力量对图像进行修改
计算机视觉与模式识别
2024-04-30 v1
摘要
基于文本的语义图像编辑假设使用自然语言指令来操作图像。尽管近期的工作能够生成富有创意和高质量的图像，但该问题仍大多被视为一个黑盒，容易产生意想不到的输出。因此，我们提出了一种新颖的模型，通过显式推理图像的哪些部分需要修改或保留，来增强图像编辑器的文本控制能力。它依赖于原始源图像描述、反映所需更新的指令以及输入图像之间的词对齐。所提出的基于词对齐的扩散掩码（DM-Align）方法能够以透明且可解释的方式编辑图像。我们在Bison数据集的一个子集和一个自定义数据集（称为Dream）上对其进行了评估。与最先进的基线相比，定量和定性结果表明，DM-Align在基于语言指令的图像编辑中具有优越的性能，能很好地保留图像背景，并且能更好地处理长文本指令。
关键词
引用
@article{arxiv.2404.18020,
title = {DM-Align: Leveraging the Power of Natural Language Instructions to Make Changes to Images},
author = {Maria Mihaela Trusca and Tinne Tuytelaars and Marie-Francine Moens},
journal= {arXiv preprint arXiv:2404.18020},
year = {2024}
}