探索单目三维目标检测的能力与局限——基于仿真与真实世界数据的研究

基于单目相机数据的三维目标检测是自动驾驶的关键赋能技术。然而，由于二维图像缺乏深度信息，该任务是病态的。近期的深度学习方法通过学习关于环境的先验，从单张图像恢复深度信息，展现出有前景的结果。若干相互竞争的策略应对此问题。除网络设计外，这些竞争方法的主要区别在于使用有监督或自监督优化损失函数，其所需数据与真值信息不同。本文中，我们评估了一个可参数化配置不同深度估计模块的三维目标检测流水线的性能。我们实现了一种基于相机内参与二维边界框尺寸的简单距离计算方法、一种自监督深度估计方法以及一种有监督深度估计方法。在真实场景中，真值深度信息无法可靠记录，这将我们的训练重点转向仿真数据。在仿真中，标注与真值生成可自动化。我们在仿真器数据以及来自自动驾驶赛车赛道的一段真实世界序列上评估了该检测流水线，并研究了仿真训练对真实世界应用的好处，讨论了不同深度估计策略的优缺点。