基于事件的视觉与深度学习在自动驾驶转向预测中的结合

事件相机是受生物启发的视觉传感器，可自然捕捉场景的动态并滤除冗余信息。本文提出一种深度神经网络方法，释放事件相机在一项具有挑战性的运动估计任务——车辆转向角预测——上的潜力。为充分利用该传感器与算法的组合，我们将最先进的卷积架构适配于事件传感器的输出，并在公开可用的大规模事件相机数据集（约 1000 km）上广泛评估了我们方法的性能。我们给出定性及定量解释，说明为何事件相机即使在传统相机失效的情况下（例如具有挑战性的光照条件与快速运动）也能实现鲁棒的转向预测。最后，我们展示了从传统视觉到基于事件的视觉利用迁移学习的优势，并表明我们的方法优于基于标准相机的最先进算法。