Lighthouse：预测空间相干照明的光照体数据
计算机视觉与模式识别
2020-05-14 v2 图形学
摘要
我们提出了一种深度学习方案，用于从输入的窄基线立体图像对中估计场景内任意 3D 位置处的入射光照。先前从图像预测全局光照的方法要么仅预测整个场景的单一光照，要么分别估计每个 3D 位置处的光照而不强制预测与同一 3D 场景一致。相反，我们提出一种深度学习模型，该模型估计场景的 3D 体素 RGBA 表示（包括观测视场之外的内容），随后使用标准体渲染来估计该体素内任意 3D 位置的入射光照。我们的模型训练无需任何真实 3D 数据，仅需要输入立体像对附近的一张留出透视视图以及每个场景内拍摄的一张球面全景图作为监督，而先前空间变化光照估计方法训练需要真实场景几何。我们展示了我们的方法能够预测一致的空间变化光照，其逼真度足以将高镜面反射的虚拟物体合理地重新打光并插入到真实图像中。
引用
@article{arxiv.2003.08367,
title = {Lighthouse: Predicting Lighting Volumes for Spatially-Coherent Illumination},
author = {Pratul P. Srinivasan and Ben Mildenhall and Matthew Tancik and Jonathan T. Barron and Richard Tucker and Noah Snavely},
journal= {arXiv preprint arXiv:2003.08367},
year = {2020}
}
备注
CVPR 2020. Project page: https://people.eecs.berkeley.edu/~pratul/lighthouse/ [Updates: typos corrected]