基于同步多视角扩散的文本引导纹理合成

本文提出了一种在给定文本提示下为指定三维物体合成纹理以进行装饰的新方法。基于预训练的文本到图像(T2I)扩散模型,现有方法通常采用投影-修复(project-and-inpaint)策略,即先生成给定物体的一个视角图像,再将其扭曲到其他视角进行修复。但由于多视角扩散不同步,该方法往往产生不一致的纹理。我们认为这种异步扩散以及视角间信息共享不足是不一致伪影的根本原因。本文提出一种同步多视角扩散方法,使不同视角的扩散过程在较早阶段就对所生成内容达成共识,从而确保纹理一致性。为实现扩散同步,我们在每个去噪步骤中共享不同视角间的去噪内容,具体做法是在有重叠的视角间于纹理域混合潜空间内容。与最先进的方法相比,我们的方法在生成一致、无缝、高细节纹理方面表现出优越性能。