大型材料高斯模型用于可重光照三维生成
计算机视觉与模式识别
2025-09-29 v1
摘要
各行业对三维资产日益增长的需求 necessitates 高效且自动化的三维内容创建方法。利用三维高斯溅射（3D Gaussian Splatting），近期的大型重建模型（LRMs）已证明能够通过整合多视角扩散生成与可扩展变换器重建，高效实现高质量三维渲染。然而，现有模型无法生成资产的材质属性，而这对多样化光照环境下的真实渲染至关重要。在本文中，我们引入了大型材料高斯模型（MGM），一个旨在生成具有物理基础渲染（PBR）材质——即反照率、粗糙度和金属性——的高质量三维内容的新型框架，而非仅产生具有不受控光照烘焙的 RGB 纹理。具体而言，我们首先对一个新的多视角材料扩散模型进行微调，该模型以输入深度图和法线图为条件。利用生成的多视角 PBR 图像，我们探索了一种高斯材质表示，该表示不仅与二维高斯溅射对齐，还能对 PBR 材质的每个通道进行建模。随后，重建的点云可用于获取 PBR 属性，通过应用各种环境光照图实现动态重光照。大量实验表明，我们的方法所产生的材质不仅在视觉上优于基线方法，而且增强了材质建模，从而实现了实用的下游渲染应用。
引用
@article{arxiv.2509.22112,
title = {Large Material Gaussian Model for Relightable 3D Generation},
author = {Jingrui Ye and Lingting Zhu and Runze Zhang and Zeyu Hu and Yingda Yin and Lanjiong Li and Lequan Yu and Qingmin Liao},
journal= {arXiv preprint arXiv:2509.22112},
year = {2025}
}