基于参考模仿的零样体图像编辑

图像编辑是一种在实际中具有实际价值且具有挑战性的任务，考虑到用户的多样化需求，其中最难的部分之一是精确描述编辑后的图像应如何呈现。在本工作中，我们提出了一种新的编辑形式，称为imitative editing，以帮助用户更方便地表达创意。具体而言，要编辑图像中感兴趣的区域，用户可以直接从一些野生参考(例如，一些相对的图片来自网络)获得灵感，而无需担心参考与来源之间的匹配。这种设计需要系统自动确定从参考中可以期望什么来执行编辑。为此，我们提出了一个generative training framework，称为MimicBrush，它随机选择视频剪辑中的两个帧，遮蔽一个帧的某些区域，并学习使用来自另一个帧的信息来恢复被遮蔽的区域。通过这种方式，我们的模型基于扩散先验developed，能够在自监督方式中捕获单独图像之间的语义对应关系。我们在各种测试情况下实验显示我们方法的有效性以及其优于现有替代方案的优势。我们还构建了一个基准来促进进一步的研究。