用于具有全局光照的可重光照新视角合成的神经辐射传输场
计算机视觉与模式识别
2022-07-28 v1
摘要
给定场景的一组图像，从该场景的新视角与光照条件下重新渲染是一个重要且具挑战性的计算机视觉与图形学问题。一方面，计算机视觉中多数现有工作通常对图像形成过程施加诸多假设，例如直接光照与预定义材质，以使场景参数估计可行。另一方面，成熟的计算机图形学工具在给定所有场景参数下可建模复杂的照片级真实光传输。结合这些方法，我们提出一种通过学习的神经预计算辐射传输函数在新视角下实现场景重光照的方法，其利用新颖环境贴图隐式处理全局光照效应。我们的方法可仅在单一未知光照条件下场景的一组真实图像上受监督。为在训练期间消除任务歧义，我们将可微路径追踪器紧密集成于训练过程中，并提出合成 OLAT 与真实图像损失的组合。结果表明，所恢复的场景参数解耦显著优于当前最先进水平，因此我们的重新渲染结果也更加真实与准确。
引用
@article{arxiv.2207.13607,
title = {Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination},
author = {Linjie Lyu and Ayush Tewari and Thomas Leimkuehler and Marc Habermann and Christian Theobalt},
journal= {arXiv preprint arXiv:2207.13607},
year = {2022}
}