注意你的步骤：基于文本指令的局部图像与场景编辑
计算机视觉与模式识别
2024-07-04 v1
摘要
去噪扩散模型已实现了高质量图像生成与编辑。我们提出一种定位文本指令中隐含所需编辑区域的方法。我们利用InstructPix2Pix（IP2P）并识别带指令与不带指令的IP2P预测之间的差异。该差异被称为相关性图（relevance map）。相关性图传达了为达成编辑而改变每个像素的重要性，并用于引导修改。该引导确保无关像素保持不变。相关性图进一步用于以提升神经辐射场形式文本引导三维场景编辑的质量。在训练视图的相关性图上训练一个场，记为相关性场（relevance field），定义应被修改的三维区域。我们基于相关性场渲染出的相关性图对训练视图进行迭代更新。我们的方法在图像与NeRF编辑任务上均达到最先进（SOTA）性能。项目页：https://ashmrz.github.io/WatchYourSteps/
引用
@article{arxiv.2308.08947,
title = {Watch Your Steps: Local Image and Scene Editing by Text Instructions},
author = {Ashkan Mirzaei and Tristan Aumentado-Armstrong and Marcus A. Brubaker and Jonathan Kelly and Alex Levinshtein and Konstantinos G. Derpanis and Igor Gilitschenski},
journal= {arXiv preprint arXiv:2308.08947},
year = {2024}
}
备注
Project page: https://ashmrz.github.io/WatchYourSteps/