中文

使用基于点的融合进行时间一致的在线深度估计

计算机视觉与模式识别 2023-08-08 v3

摘要

深度估计是许多计算机视觉问题(如 3D 重建、新视角合成和计算摄影)中的重要步骤。大多数现有工作专注于从单帧进行深度估计。当应用于视频时,结果缺乏时间一致性,出现闪烁和游动伪影。在本文中,我们旨在在线设置下估计视频流的时间一致深度图。这是一个困难的问题,因为未来帧不可用,且方法必须在强制一致性和纠正先前估计的错误之间做出选择。动态物体的存在进一步使问题复杂化。我们提出通过使用每帧动态更新的全局点云,以及图像空间中学习的融合方法来应对这些挑战。我们的方法鼓励一致性,同时允许更新以处理错误和动态物体。定性和定量结果表明,我们的方法在一致视频深度估计方面达到了最先进的质量。

关键词

引用

@article{arxiv.2304.07435,
  title  = {Temporally Consistent Online Depth Estimation Using Point-Based Fusion},
  author = {Numair Khan and Eric Penner and Douglas Lanman and Lei Xiao},
  journal= {arXiv preprint arXiv:2304.07435},
  year   = {2023}
}

备注

Source code: https://github.com/facebookresearch/TemporallyConsistentDepth