动态场景中时间一致的在线深度估计
计算机视觉与模式识别
2022-12-12 v3
摘要
时间一致的深度估计对于增强现实等在线应用至关重要。虽然立体深度估计作为生成3D信息的一种有前景的方式已受到大量关注，但关注维持时间稳定性的工作相对较少。实际上，基于我们的分析，当前技术仍受限于较差的时间一致性。由于物体与相机运动同时发生，在动态场景中时间上稳定深度是具有挑战性的。在在线设置中，由于仅有过去帧可用，该过程进一步恶化。我们提出一个名为一致在线动态深度（CODD）的框架，以在在线设置的动态场景中产生时间一致的深度估计。CODD以新颖的运动与融合网络增强逐帧立体网络。运动网络通过预测逐像素SE3变换并对齐观测来考量动态。融合网络通过聚合当前与过去估计来改善时间深度一致性。我们进行了广泛实验，并从定量与定性上证明CODD在时间一致性上优于竞争方法，且在逐帧精度上表现相当。
引用
@article{arxiv.2111.09337,
title = {Temporally Consistent Online Depth Estimation in Dynamic Scenes},
author = {Zhaoshuo Li and Wei Ye and Dilin Wang and Francis X. Creighton and Russell H. Taylor and Ganesh Venkatesh and Mathias Unberath},
journal= {arXiv preprint arXiv:2111.09337},
year = {2022}
}
备注
WACV 2023, project page: https://mli0603.github.io/codd/