N-DriverMotion：基于事件相机和在 Loihi 2 上直接训练的脉冲神经网络的司机动作学习与预测
计算机视觉与模式识别
2024-11-20 v2 人工智能
摘要
司机动作识别是确保驾驶系统安全的关键因素。本文提出了一种新颖的系统用于学习和预测司机动作，以及一个新的基于事件相机的高分辨率 (1280x720) 数据集 N-DriverMotion，旨在在神经形态视觉系统上进行训练。该系统由产生第一个高分辨率司机动作数据集的事件相机组成，该数据集代表脉冲输入，并高效的脉冲神经网络 (SNN) 用于训练和预测司机的手势。事件数据集包含 13 类司机动作，按方向 (前、侧)、照明 (亮、适中、暗) 和参与者分类。我们提出了一种新颖的简化四层卷积脉冲神经网络 (CSNN)，可直接使用高分辨率数据集进行训练，无需耗时的预处理。这使得能够高效地适应用于实时推断的高分辨率事件流上的设备 SNN。与最近采用神经网络进行视觉处理的手势识别系统相比，本文提出的神经形态视觉系统在 CSNN 架构下实现了 94.04% 的相当准确度，以识别司机动作。我们提出的 CSNN 和数据集可用于开发更安全更高效的自动驾驶车辆或需要高效神经网络架构的边缘设备的司机监控系统。
引用
@article{arxiv.2408.13379,
title = {N-DriverMotion: Driver motion learning and prediction using an event-based camera and directly trained spiking neural networks on Loihi 2},
author = {Hyo Jong Chung and Byungkon Kang and Yoonseok Yang},
journal= {arXiv preprint arXiv:2408.13379},
year = {2024}
}
备注
Accepted for publication in IEEE Open Journal of Vehicular Technology (OJVT) on 18 November 2024