面向街景的可微虚拟物体插入神经光场估计
计算机视觉与模式识别
2022-08-22 v1
摘要
我们考虑面向照片中逼真虚拟物体插入的室外光照估计这一挑战性问题。现有的室外光照估计工作通常将场景光照简化为环境贴图，无法捕捉室外场景中空间变化的光照效应。本工作中，我们提出一种神经方法，从单张图像估计 5D HDR 光场，并给出一种可微物体插入公式，能够通过基于图像的损失进行端到端训练以增进真实感。具体而言，我们设计了一种面向室外场景的混合光照表示，包含处理太阳极端强度的 HDR 天空穹顶，以及建模周围场景空间变化外观的体积光照表示。利用估计的光照，我们的阴影感知物体插入完全可微，从而能够对合成图像进行对抗训练，为光照预测提供额外的监督信号。我们通过实验证明，我们的混合光照表示比现有室外光照估计方法表现更优。我们进一步展示了我们的 AR 物体插入在自动驾驶应用中的益处，在基于我们增强数据训练时，3D 物体检测器获得了性能提升。
引用
@article{arxiv.2208.09480,
title = {Neural Light Field Estimation for Street Scenes with Differentiable Virtual Object Insertion},
author = {Zian Wang and Wenzheng Chen and David Acuna and Jan Kautz and Sanja Fidler},
journal= {arXiv preprint arXiv:2208.09480},
year = {2022}
}
备注
Webpage: https://nv-tlabs.github.io/outdoor-ar/