三维物体辅助的自监督单目深度估计
计算机视觉与模式识别
2022-12-06 v1
摘要
单目深度估计在机器人视觉、自动驾驶与三维场景理解等领域被广泛研究。给定一系列彩色图像，基于运动恢复结构（SfM）框架的无监督学习方法同时预测深度与相机相对位姿。然而，场景中动态运动物体违背了静态世界假设，导致动态物体深度不准确。本文提出一种通过单目三维物体检测解决此类动态物体运动的新方法。具体而言，我们首先检测图像中的三维物体，并建立动态像素与检测所得物体位姿的逐像素对应，同时将对应刚性背景的静态像素留由相机运动建模。如此，每个像素的深度均可通过有意义的几何模型学习。此外，物体被检测为具有绝对尺度的长方体，用于消除单目视觉固有的尺度模糊问题。在 KITTI 深度数据集上的实验表明，我们的方法在深度估计上达到了最先进的性能。进一步地，深度、相机运动与物体位姿的联合训练也提升了单目三维物体检测性能。据我们所知，这是首个允许单目三维物体检测网络以自监督方式微调的工作。
引用
@article{arxiv.2212.01768,
title = {3D Object Aided Self-Supervised Monocular Depth Estimation},
author = {Songlin Wei and Guodong Chen and Wenzheng Chi and Zhenhua Wang and Lining Sun},
journal= {arXiv preprint arXiv:2212.01768},
year = {2022}
}