时空一致的HDR室内光照估计
计算机视觉与模式识别
2023-05-09 v1
摘要
我们提出一个物理启发的深度学习框架，以解决具有挑战性的室内光照估计问题的通用版本。给定单张带深度图的LDR图像，我们的方法可预测任意给定图像位置处空间一致的光照。特别地，当输入为LDR视频序列时，我们的框架不仅随着看到更多区域而逐步细化光照预测，还通过保持细化的平滑性来维持时间一致性。我们的框架通过定制的3D编码器-解码器重建球高斯光照体(SGLV)，其通过体光线追踪实现空间一致的光照预测、用于细节环境图的混合融合网络、网络内蒙特卡洛渲染层以增强虚拟物体插入的真实感，以及循环神经网络(RNN)以视频序列为输入实现时间一致的光照预测。为训练，我们用约360K更高分辨率的HDR环境图和38K视频序列显著增强了OpenRooms公开照片级真实合成室内场景数据集，这些均使用基于GPU的路径追踪渲染。实验表明，与最先进的单图或基于视频的方法相比，我们的框架实现了更高质量的光照预测，从而带来如物体插入等照片级真实AR应用。
引用
@article{arxiv.2305.04374,
title = {Spatiotemporally Consistent HDR Indoor Lighting Estimation},
author = {Zhengqin Li and Li Yu and Mikhail Okunev and Manmohan Chandraker and Zhao Dong},
journal= {arXiv preprint arXiv:2305.04374},
year = {2023}
}