DreamLifting：提升 MV 扩散模型用于 3D 资产生成的插件模块

使用基于物理渲染(PBR)材质创建 3D 资产耗费大量人力与经验，这需要一种自动化的 3D 资产创建流程。然而，现有的多数 3D 生成方法侧重于几何建模，要么将纹理烘焙为简单的顶点颜色，要么将纹理合成留给图像扩散模型进行后处理。为实现端到端具备 PBR 能力的 3D 资产生成，我们提出了轻量级高斯资产适配器(LGAA)，这是一种通过全新视角利用多视图(MV)扩散先验来统一几何与 PBR 材质建模的新颖框架。LGAA 采用模块化设计，包含三个组件。具体而言，LGAA Wrapper 复用并调整了 MV 扩散模型中的网络层，这些网络层封装了从数十亿张图像中获取的知识，从而以数据高效的方式实现更好的收敛。为了整合用于几何和 PBR 合成的多种扩散先验，LGAA Switcher 对齐了封装不同知识的多个 LGAA Wrapper 层。随后，设计了一种受控的变分自编码器(VAE)，称为 LGAA Decoder，用于预测带有 PBR 通道的 2D 高斯泼溅(2DGS)。最后，我们引入了专门的后处理流程，以从生成的 2DGS 中有效提取高质量、可重新打光的网格资产。大量定量和定性实验证明了 LGAA 在文本和图像条件 MV 扩散模型下的优越性能。此外，模块化设计实现了多种扩散先验的灵活整合，知识保留方案有效保留了在海量图像数据集上学习到的 2D 先验，从而实现了数据高效的微调，仅需 69k 个多视图实例即可提升 MV 扩散模型用于 3D 生成。