Realiz3D：通过领域感知学习实现3D生成的照片级真实感

我们常常希望生成既照片级真实又3D一致的图像，遵循精确的几何、材料和视点控制。通常通过对预训练于数十亿真实图像上的图像生成器进行微调来实现这一点，使用具有控制信号注释的合成3D资产的渲染图。虽然这种方法可以学习到所需的控制，但由于照片与渲染图之间的领域差距，往往会损害图像的真实感。我们注意到，这一问题主要源于模型学习了控制信号存在性与图像合成外观之间的意图关联。为此，我们引入Realiz3D，一个用于训练扩散模型的轻量级框架， 将控制信号与视觉领域解耦。关键思想是显式地将视觉领域(real或synthetic)从其他控制信号中独立学习，通过引入一个协变量输入到小型残差适配器中，以实现领域迁移。如此一来，生成器可以在应用控制信号时仍能被导向产生真实感的图像。我们通过洞察扩散生成器中不同层和去噪步骤的作用，指导新的训练和推理策略，以进一步减缓领域差距。我们展示了Realiz3D在文本到多视图生成和从3D输入纹理化等任务中的优势，产生3D一致且照片级真实的输出。