DarkGS：用于暗处机器人探索的学习神经照明与 3D 高斯体 Relighting
计算机视觉与模式识别
2024-09-04 v2 机器人学
摘要
人类拥有在有限或变化照明条件下构建一致心理模型的惊人能力。我们希望赋予机器人相同的能力。在本文中，我们致力于在照明条件不佳且光源移动的情况下构建逼真的场景表示。我们将建模照明视为一个学习问题，并利用开发的照明模型辅助场景重建。我们引入一种创新框架，使用数据驱动方法 Neural Light Simulators (NeLiS) 来建模和校准相机-光源系统。此外，我们提出 DarkGS 方法，将 NeLiS 应用于创建可实时、逼真渲染的 3D 高斯场景模型，能够从新视角进行渲染。我们展示了我们提出的模拟器和系统在各种真实环境中的适用性和鲁棒性。
关键词
引用
@article{arxiv.2403.10814,
title = {DarkGS: Learning Neural Illumination and 3D Gaussians Relighting for Robotic Exploration in the Dark},
author = {Tianyi Zhang and Kaining Huang and Weiming Zhi and Matthew Johnson-Roberson},
journal= {arXiv preprint arXiv:2403.10814},
year = {2024}
}
备注
8 pages, 10 figures