DriveGazen：基于事件的驾驶状态识别（使用常规相机）

我们介绍了一种可穿戴的驾驶状态识别设备及其开源数据集，以及一种新的实时方法，该方法对光照条件变化具有鲁棒性，可通过驾驶员的眼部观察来识别驾驶状态。我们方法的核心是从常规强度帧生成事件帧，另一个核心是新颖设计的注意力驾驶状态网络（ADSN）。与事件相机相比，常规相机提供完整的信息且硬件成本更低，使得捕获的帧能够编码丰富的空间信息。然而，这些纹理缺乏时间信息，给有效识别驾驶状态带来了挑战。DriveGazen从三个角度解决了这一问题。首先，我们利用视频帧生成逼真的合成动态视觉传感器（DVS）事件。其次，我们采用脉冲神经网络来解码相关的时间信息。最后，ADSN从相应的强度帧中提取关键的空间线索，并通过一种新颖的引导注意力模块在训练和推理过程中将空间注意力传递给卷积脉冲层，以引导事件帧的特征学习和特征增强。我们专门收集了驾驶状态（DriveGaze）数据集以证明我们方法的有效性。此外，我们在单眼事件情感（SEE）数据集上验证了DriveGazen的优越性。据我们所知，我们的方法是首个利用引导注意力脉冲神经网络和从常规相机生成的基于眼睛的事件帧进行驾驶状态识别的方法。更多详情请参见我们的项目页面：https://github.com/TooyoungALEX/AAAI25-DriveGazen。