基于深度图学习的三维空间变化室内光照预测
计算机视觉与模式识别
2022-09-02 v1
摘要
从单幅图像预测光照在许多视觉与增强现实（AR）应用中日益重要，这类应用需保证虚拟与真实物体间的着色及阴影一致性。然而，由于室内灯具的复杂性与二维图像信息的有限性，该问题尤其是室内场景下的光照预测是一个著名的病态问题。本文提出一种基于图学习的室内光照估计框架，其核心是一种新的光照模型（称为DSGLight），该模型基于深度增强球高斯（SG）与图卷积网络（GCN），可从视场有限的单幅LDR图像推断新光照表示。我们的光照模型在室内全景上构建128个均匀分布SG，每个SG编码该节点周围的光照与深度。所提GCN随后学习从输入图像到DSGLight的映射。与现有光照模型相比，我们的DSGLight更忠实且紧凑地编码了直接光照与间接环境光照，并令网络训练与推理更为稳定。估计的深度分布可在空间变化光照下实现时间稳定的着色与阴影。通过充分实验，我们表明该方法在定性与定量上均明显优于现有方法。
引用
@article{arxiv.2202.06300,
title = {Deep Graph Learning for Spatially-Varying Indoor Lighting Prediction},
author = {Jiayang Bai and Jie Guo and Chenchen Wan and Zhenyu Chen and Zhen He and Shan Yang and Piaopiao Yu and Yan Zhang and Yanwen Guo},
journal= {arXiv preprint arXiv:2202.06300},
year = {2022}
}