PBR3DGen：一种具有高质量 PBR 纹理的 VLM 引导网格生成方法
计算机视觉与模式识别
2025-03-17 v1
摘要
生成高质量的基于物理渲染（PBR）材料对于在下游任务中实现逼真渲染至关重要，但由于材料和光照的交织影响，这仍然具有挑战性。虽然现有方法通过在 3D 生成流程中引入材料分解取得了突破，但它们往往将高光烘焙到反照率中，并忽略了金属度和粗糙度的空间变化属性。在这项工作中，我们提出了 PBR3DGen，这是一种具有高质量 PBR 材料的两阶段网格生成方法，它集成了新颖的多视图 PBR 材料估计模型和 3D PBR 网格重建模型。具体而言，PBR3DGen 利用视觉语言模型（VLM）引导多视图扩散，精确捕获反射-金属材料的分布空间和固有属性。此外，我们将依赖于视图的光照感知条件作为像素感知先验，以增强空间变化的材料属性。最后，我们的重建模型重建了带有 PBR 材料的高质量网格。实验结果表明，PBR3DGen 显著优于现有方法，在 PBR 估计和网格生成方面取得了新的 SOTA 结果。更多结果和可视化可在我们的项目页面找到：https://pbr3dgen1218.github.io/。
引用
@article{arxiv.2503.11368,
title = {PBR3DGen: A VLM-guided Mesh Generation with High-quality PBR Texture},
author = {Xiaokang Wei and Bowen Zhang and Xianghui Yang and Yuxuan Wang and Chunchao Guo and Xi Zhao and Yan Luximon},
journal= {arXiv preprint arXiv:2503.11368},
year = {2025}
}
备注
Homepage: https://pbr3dgen1218.github.io/