DeepLight：面向无约束移动混合现实的照明学习
计算机视觉与模式识别
2019-04-03 v1 图形学
摘要
我们提出了一种基于学习的方法，用于在给定来自移动手机相机、视场（FOV）有限的无约束低动态范围（LDR）图像的情况下，推断合理的高动态范围（HDR）全向照明。对于训练数据，我们收集了各种反射球置于相机 FOV 内的视频，使大部分背景未被遮挡，利用具有不同反射率函数的材料在单次曝光中揭示不同的光照线索。我们训练一个深度神经网络，通过基于图像的重新打光（可微分）将预测的照明渲染的 LDR 真实球图像与 LDR 背景图像匹配，从而从 LDR 背景图像回归出 HDR 光照。我们的推理在移动设备上以交互帧率运行，能够将虚拟物体逼真地渲染到真实场景中，用于移动混合现实。在自动曝光和白平衡的视频上训练，与最先进（state-of-the-art）方法相比，我们提升了室内和室外场景中被渲染物体的真实感。
引用
@article{arxiv.1904.01175,
title = {DeepLight: Learning Illumination for Unconstrained Mobile Mixed Reality},
author = {Chloe LeGendre and Wan-Chun Ma and Graham Fyffe and John Flynn and Laurent Charbonnel and Jay Busch and Paul Debevec},
journal= {arXiv preprint arXiv:1904.01175},
year = {2019}
}