Dynamo-Depth：修复动态场景下的无监督深度估计
计算机视觉与模式识别
2023-10-31 v1
摘要
无监督单目深度估计技术已展现出令人鼓舞的结果，但通常假设场景是静态的。当在动态场景上训练时，这些技术表现不佳，因为物体的表观运动既可以通过假设物体独立运动来解释，也可以通过改变其深度来解释。这种歧义导致深度估计器对运动物体预测出错误的深度。为解决此问题，我们提出 Dynamo-Depth，一种通过从无标签单目视频中联合学习单目深度、3D 独立流场和运动分割来消除动态运动歧义的统一方法。具体而言，我们的核心见解是：尽管存在根本性的底层歧义，良好的运动分割初始估计足以用于联合学习深度和独立运动。我们所提方法在 Waymo Open 和 nuScenes 数据集上的单目深度估计达到了最先进性能，并在运动物体的深度上取得显著改进。代码与额外结果见 https://dynamo-depth.github.io。
引用
@article{arxiv.2310.18887,
title = {Dynamo-Depth: Fixing Unsupervised Depth Estimation for Dynamical Scenes},
author = {Yihong Sun and Bharath Hariharan},
journal= {arXiv preprint arXiv:2310.18887},
year = {2023}
}
备注
NeurIPS 2023