用于理解运动车辆动力学的深度激光雷达CNN

由于深度学习的进展，自动驾驶中的感知技术正经历其黄金时代。然而，这些系统大多依赖于RGB图像语义丰富的信息。应用于自动驾驶汽车通常配备的其他传感器（如激光雷达或雷达）数据的深度学习方案鲜有探索。本文提出一种仅从激光雷达信息理解场景中运动车辆动力学的新方案。该问题的主要挑战源于我们需要将“观察者”车辆自身的运动与外部“被观察”车辆的运动去歧义化。为此，我们设计了一种CNN架构，在测试时输入成对的连续激光雷达扫描。然而，为了恰当地学习该网络的参数，我们在训练时引入了一系列所谓的前置任务，这些任务也利用了图像数据。这些任务包括关于车辆性的语义信息以及一种新颖的激光雷达流特征，该特征将标准的基于图像的光流与激光雷达扫描相结合。我们获得了非常有前景的结果，并表明仅在训练时纳入提炼的图像信息，可在测试时改善网络的推理结果，即便不再使用图像数据。