自监督单目深度估计：通过语义引导解决动态物体问题
计算机视觉与模式识别
2020-07-22 v2
摘要
自监督单目深度估计提供了一种从单相机图像获取 3D 场景信息的强大方法，它可在任意图像序列上训练而无需深度标签（例如来自 LiDAR 传感器）。本文提出一种新的自监督语义引导深度估计（SGDepth）方法，以处理移动动态类（DC）物体（如移动车辆与行人），这类物体违背了此类模型训练时通常所做的静态世界假设。具体而言，我们提出（i）对（有监督）语义分割与自监督深度估计进行互益跨域训练，并使用任务特定网络头；（ii）一种语义掩码方案提供引导，防止移动 DC 物体污染光度损失；（iii）一种针对含非移动 DC 物体帧的检测方法，从中可学习 DC 物体的深度。我们在多个基准上展示了方法性能，尤其在 Eigen 划分上，无需测试时细化即超越所有基线。
引用
@article{arxiv.2007.06936,
title = {Self-Supervised Monocular Depth Estimation: Solving the Dynamic Object Problem by Semantic Guidance},
author = {Marvin Klingner and Jan-Aike Termöhlen and Jonas Mikolajczyk and Tim Fingscheidt},
journal= {arXiv preprint arXiv:2007.06936},
year = {2020}
}
备注
ECCV 2020