DreamInpainter：基于扩散模型的文本引导主体驱动图像修复
计算机视觉与模式识别
2023-12-08 v1
摘要
本研究引入了文本引导主体驱动图像修复，这是一项结合文本和示例图像进行图像修复的新任务。尽管文本和示例图像在以往的工作中均被独立使用，但它们的联合利用仍未被探索。同时满足这两种条件带来了重大挑战，因为需要在可编辑性和主体保真度之间取得内在平衡。为应对这一挑战，我们提出了一种两步方法 DreamInpainter。首先，我们计算密集的主体特征以确保准确的主体复制。然后，我们采用判别式 token 选择模块来消除冗余的主体细节，在保持主体身份的同时允许根据其他条件（如掩码形状和文本提示）进行更改。此外，我们引入了一种解耦正则化技术，以在存在示例图像的情况下增强文本控制。我们的大量实验证明了我们的方法在视觉质量、身份保持和文本控制方面的优越性能，展示了其在文本引导主体驱动图像修复背景下的有效性。
引用
@article{arxiv.2312.03771,
title = {DreamInpainter: Text-Guided Subject-Driven Image Inpainting with Diffusion Models},
author = {Shaoan Xie and Yang Zhao and Zhisheng Xiao and Kelvin C. K. Chan and Yandong Li and Yanwu Xu and Kun Zhang and Tingbo Hou},
journal= {arXiv preprint arXiv:2312.03771},
year = {2023}
}