IntrinsiX：基于图像先验的高质量 PBR 生成

我们介绍 IntrinsiX，一种从文本描述生成高质量固有图的方法。与现有文本到图像模型输出中包含预置场景照明不同，我们的方法预测基于物理的渲染 (PBR) 图图。这使生成输出能够用于核心图形应用中的内容创建场景，促进重新照明、编辑和纹理生成任务。在训练生成器方面，我们利用强大的图像先验，为每个 PBR 材料组件 (albedo、roughness、metallic、normals) 预训练独立模型。然后，我们将这些模型与一种新的跨固有注意力公式对齐，该公式以一致的方式拼接关键和值特征。这使得我们能够在每个输出模态之间交换信息，并获得语义连贯的 PBR 预测。为为每个固有组件提供图像空间信号，我们提出了渲染损失，以约束模型，从而促进 BRDF 属性输出中锐利细节的生成。我们的结果表明，生成的固有图在细节上具有很强的概括能力，显著优于使用生成图像的现有固有图分解方法。最后，我们展示了一系列应用，包括重新照明、编辑和文本条件的房间级 PBR 纹理生成。