将稠密度量深度融入神经 3D 表征以用于视图合成与重照明
计算机视觉与模式识别
2024-09-06 v1 图形学
机器人学
摘要
合成小场景的精确几何与照片级真实外观是一个活跃的研究领域，在游戏、虚拟现实、机器人操作、自动驾驶、便捷产品捕捉和消费级摄影中具有引人注目的应用场景。在将场景几何与外观估计技术应用于机器人领域时，我们发现由于机器人运动范围有限和场景杂乱导致可能视点的狭窄锥体，使得当前的估计技术产生低质量估计甚至失败。另一方面，在机器人应用中，稠密度量深度通常可以通过立体视觉直接测量，且照明可以被控制。深度可以提供物体几何的良好初始估计以改善重建，而多照明图像可以促进重照明。在这项工作中，我们演示了一种将稠密度量深度融入神经 3D 表征训练的方法，并通过区分纹理边缘和几何边缘，解决了在联合优化几何与外观时观察到的一种伪影。我们还讨论了为捕捉我们流水线所需数据而开发的多闪光立体相机系统，并展示了在少量训练视图下的重照明和视图合成结果。
引用
@article{arxiv.2409.03061,
title = {Incorporating dense metric depth into neural 3D representations for view synthesis and relighting},
author = {Arkadeep Narayan Chaudhury and Igor Vasiljevic and Sergey Zakharov and Vitor Guizilini and Rares Ambrus and Srinivasa Narasimhan and Christopher G. Atkeson},
journal= {arXiv preprint arXiv:2409.03061},
year = {2024}
}
备注
Project webpage: https://stereomfc.github.io