Brain4Cars：通过感官融合深度学习架构先于您知晓的汽车

在过去的十年中，高级驾驶辅助系统（ADAS）使驾驶更加安全。它们让车辆为不安全的道路状况做好准备，并在驾驶员执行危险操作时发出警报。然而，许多事故仍不可避免，因为等到驾驶员收到警报时往往为时已晚。提前预判操作可以让驾驶员在做出动作之前收到警报，同时也为 ADAS 争取更多时间来避免或准备应对危险。在这项工作中，我们提出了一种车载传感器丰富的平台以及用于操作预判的学习算法。为此，我们为汽车装备了摄像头、全球定位系统（GPS）和计算设备，以从车内和车外捕获驾驶情境。为了预判操作，我们提出了一种感官融合深度学习架构，该架构联合学习预判并融合多路感官流。我们的架构由使用长短期记忆（LSTM）单元的循环神经网络（RNN）组成，以捕捉长时间依赖关系。我们提出了一种新颖的训练过程，使网络仅给定部分时间上下文即可预测未来。我们引入了一个包含 1180 英里自然高速公路和城市驾驶的数据集，并展示出我们可以实时在动作发生前 3.5 秒进行预判，精确率和召回率分别为 90.5% 和 87.4%。