SC-DepthV3：面向动态场景的鲁棒自监督单目深度估计
计算机视觉与模式识别
2023-10-06 v2
摘要
自监督单目深度估计在静态场景中取得了令人印象深刻的成果。它依赖多视图一致性假设来训练网络，然而该假设在动态物体区域和遮挡处被破坏。因此，现有方法在动态场景中精度较差，且估计的深度图在物体边界处模糊，因为这些区域通常在其他训练视图中被遮挡。本文中，我们提出 SC-DepthV3 以应对这些挑战。具体而言，我们引入一个外部预训练的单目深度估计模型来生成单图像深度先验，即伪深度，并基于此提出新的损失函数以提升自监督训练。结果表明，即便从高度动态场景的单目视频中训练，我们的模型也能预测出清晰且准确的深度图。我们在六个具挑战性的数据集上展示了该方法相较先前方法的显著优越性能，并对所提各项进行了详细的消融实验。源代码与数据将发布于 https://github.com/JiawangBian/sc_depth_pl
关键词
引用
@article{arxiv.2211.03660,
title = {SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes},
author = {Libo Sun and Jia-Wang Bian and Huangying Zhan and Wei Yin and Ian Reid and Chunhua Shen},
journal= {arXiv preprint arXiv:2211.03660},
year = {2023}
}
备注
Accepted for publication in TPAMI; The code will be available at https://github.com/JiawangBian/sc_depth_pl