使用基于点的融合进行时间一致的在线深度估计
计算机视觉与模式识别
2023-08-08 v3
摘要
深度估计是许多计算机视觉问题(如 3D 重建、新视角合成和计算摄影)中的重要步骤。大多数现有工作专注于从单帧进行深度估计。当应用于视频时,结果缺乏时间一致性,出现闪烁和游动伪影。在本文中,我们旨在在线设置下估计视频流的时间一致深度图。这是一个困难的问题,因为未来帧不可用,且方法必须在强制一致性和纠正先前估计的错误之间做出选择。动态物体的存在进一步使问题复杂化。我们提出通过使用每帧动态更新的全局点云,以及图像空间中学习的融合方法来应对这些挑战。我们的方法鼓励一致性,同时允许更新以处理错误和动态物体。定性和定量结果表明,我们的方法在一致视频深度估计方面达到了最先进的质量。
引用
@article{arxiv.2304.07435,
title = {Temporally Consistent Online Depth Estimation Using Point-Based Fusion},
author = {Numair Khan and Eric Penner and Douglas Lanman and Lei Xiao},
journal= {arXiv preprint arXiv:2304.07435},
year = {2023}
}
备注
Source code: https://github.com/facebookresearch/TemporallyConsistentDepth