Neural LightRig：利用多光源扩散实现精准物体法线与材质估计
计算机视觉与模式识别
2024-12-13 v1
摘要
从单张图像恢复物体的几何结构和材质面临着因受限约束条件而带来的挑战。本文提出了 Neural LightRig—a 一套新型框架，通过利用来自 2D 扩散先验的多光照条件来提升内在属性估计。具体而言：1) 我们首先利用大规模扩散模型中的光照先验，在设计专门数据集的基础上构建多光源扩散模型。该扩散模型生成多个在不同方向的点光源照明下的一致图像。2) 通过利用这些多样化的光照图像以降低估计不确定性，我们训练了一个基于 U-Net 主干网络的大型 G-Buffer 模型，以准确预测表面法线和材质。大量实验表明，我们的方法显著优于当前最先进的方法，能够实现对表面法线和 PBR 材质的精准估计，并呈现出栩栩然的 relighting 效果。代码和数据集已在项目页面 https://projects.zxhezexin.com/neural-lightrig 提供。
引用
@article{arxiv.2412.09593,
title = {Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion},
author = {Zexin He and Tengfei Wang and Xin Huang and Xingang Pan and Ziwei Liu},
journal= {arXiv preprint arXiv:2412.09593},
year = {2024}
}
备注
Project page: https://projects.zxhezexin.com/neural-lightrig