基于扩散模型的3D一致图像填充

我们解决了基于扩散模型的图像填充3D不一致性问题。我们提出一种生成模型，使用属于同一场景的图像对。为实现3D一致且语义连贯的填充，我们通过纳入场景的另一观察视角来修改生成扩散模型，以便在去噪过程中实现这一点。这 creates an inductive bias，允许在训练时进行2D去噪，而无需显式的3D监督，来恢复3D先验。使用额外的图像作为in-context guidance进行无条件扩散模型训练，以在填充和非填充区域之间实现和谐，并确保3D一致性。我们在一个合成数据集和三个真实世界数据集上评估了该方法，表明它生成的填充在语义连贯性和3D一致性方面优于最先进的方法。