用于驾驶员 drowsiness 中打哈欠检测的神经形态传感
计算机视觉与模式识别
2023-05-05 v1
摘要
驾驶员监控系统（DMS）是车辆安全的关键组成部分，对于从半自动驾驶向完全自动驾驶的过渡至关重要。DMS 的一项关键任务是确定驾驶员的认知状态并判断其疲劳程度。基于事件相机技术的神经形态视觉系统提供了对人脸特征、尤其是驾驶员眼睛行为的先进传感。本研究探索了将神经形态传感技术扩展到分析整个面部区域以检测打哈欠行为的潜力，打哈欠提供了疲劳的互补指标。使用 RGB 彩色相机捕获了 952 个视频片段（481 个打哈欠、471 个非打哈欠），涉及 37 名受试者，构建了神经形态数据集。利用视频到事件转换器从该视频数据生成了共计 95200 帧神经形态图像帧。从这些数据中选取 21 名受试者提供训练数据集，8 名用于验证数据，其余 8 名留作“未见过”的测试数据集。从公开数据集的事件模拟中额外生成了 12300 帧以与其他方法对比测试。设计了一个带自注意力和循环头（recurrent head）的 CNN，并用这些数据训练与测试。在我们的测试集上分别取得了 95.9% 和 94.7% 的精确率与召回率，在模拟公开测试集上取得了 89.9% 和 91%，证明了将打哈欠检测添加为神经形态 DMS 的传感组件的可行性。
引用
@article{arxiv.2305.02888,
title = {Neuromorphic Sensing for Yawn Detection in Driver Drowsiness},
author = {Paul Kielty and Mehdi Sefidgar Dilmaghani and Cian Ryan and Joe Lemley and Peter Corcoran},
journal= {arXiv preprint arXiv:2305.02888},
year = {2023}
}