用于异步 RGB-D 序列的自对齐深度正则化辐射场
计算机视觉与模式识别
2024-04-05 v2 机器人学
摘要
已有研究表明，结合深度渲染与深度监督学习辐射场可以有效提升视图合成的质量与收敛速度。然而，这种范式要求输入的 RGB-D 序列是同步的，这阻碍了其在无人机城市建模场景中的应用。由于高速飞行导致 RGB 图像与深度图像之间存在异步性，我们提出了一种新颖的时间-位姿函数，这是一个将时间戳映射到 元素的隐式网络。为了简化训练过程，我们还设计了一种联合优化方案，以共同学习大规模深度正则化辐射场与时间-位姿函数。我们的算法包含三个步骤：(1) 时间-位姿函数拟合，(2) 辐射场自举，(3) 联合位姿误差补偿与辐射场细化。此外，我们提出了一个包含多种受控失配和真值的大型合成数据集，以系统地评估这一新问题设置。通过大量实验，我们证明我们的方法优于无正则化的基线方法。我们还在无人机捕获的真实世界异步 RGB-D 序列上展示了定性改善的结果。代码、数据和模型将公开发布。
引用
@article{arxiv.2211.07459,
title = {Self-Aligning Depth-regularized Radiance Fields for Asynchronous RGB-D Sequences},
author = {Yuxin Huang and Andong Yang and Zirui Wu and Yuantao Chen and Runyi Yang and Zhenxin Zhu and Chao Hou and Hao Zhao and Guyue Zhou},
journal= {arXiv preprint arXiv:2211.07459},
year = {2024}
}