基于生成式 relighting 的可重 lighting 3D 对象——ROGR

我们提出 ROGR，一种新颖的方法，通过生成式 relighting 模型重建从多个视角捕获的物体的可重 lighting 3D 模型，以模拟将物体置于 novel environment illuminations 中的效果。我们的方法在 multiple lighting environments 下采样物体的外观，创建用于训练 lighting-conditioned Neural Radiance Field（NeRF）的数据集，该 NeRF 可输出输入环境 lighting 下的物体外观。lighting-conditioned NeRF 使用一种 novel dual-branch 架构分别编码一般 lighting 效果和镜面反射。优化后的 lighting-conditioned NeRF 能够在任意 environment maps 下进行高效 feed-forward relighting，无需 per-illumination 优化或 light transport simulation。我们在 established TensoIR 和 Stanford-ORB 数据集上进行评估，ROGR 在大多数指标上超越了最先进方法，并展示了在真实世界物体捕获上的应用效果。