用于自监督 3D 目标检测的单目可微渲染
计算机视觉与模式识别
2020-10-01 v1 机器学习
摘要
由于深度与尺度的投影纠缠,从单目图像进行 3D 目标检测是一个病态问题。为克服该歧义,我们提出一种新颖的自监督方法,借助强形状先验与 2D 实例掩码,对刚体对象进行带纹理的 3D 形状重建与位姿估计。我们的方法利用可微渲染与源自预训练单目深度估计网络的自监督目标,预测图像中每个对象的 3D 位置与网格。我们使用 KITTI 3D 目标检测数据集来评估方法精度。实验表明,我们可有效利用含噪单目深度与可微渲染,作为昂贵 3D 真值标签或 LiDAR 信息的替代。
引用
@article{arxiv.2009.14524,
title = {Monocular Differentiable Rendering for Self-Supervised 3D Object Detection},
author = {Deniz Beker and Hiroharu Kato and Mihai Adrian Morariu and Takahiro Ando and Toru Matsuoka and Wadim Kehl and Adrien Gaidon},
journal= {arXiv preprint arXiv:2009.14524},
year = {2020}
}
备注
20 pages, Supplementary material included, Published in ECCV 2020