当每一毫秒都至关重要：基于多模态异步混合网络的实时异常检测

异常检测对于自动驾驶系统的安全性和可靠性至关重要。当前方法通常关注检测精度而忽略响应时间，而响应时间在时间敏感的驾驶场景中至关重要。在本文中，我们引入了自动驾驶的实时异常检测，优先考虑最小响应时间和高精度。我们提出了一种新颖的多模态异步混合网络，将事件相机的事件流与 RGB 相机的图像数据相结合。我们的网络通过异步图神经网络利用事件相机的高时间分辨率，并将其与 CNN 从 RGB 图像中提取的空间特征相融合。这种结合有效捕捉了驾驶环境的时间动态和空间细节，实现了快速且精确的异常检测。在基准数据集上的大量实验表明，我们的方法在准确率和响应时间上均优于现有方法，实现了毫秒级实时性能。