多模态驾驶员监测数据库：用于研究驾驶员注意力的自然驾驶语料库

智能车辆应当能够监测人类驾驶员的动作与行为，以便在必要时提供关键警告或进行干预。深度学习与计算机视觉的最新进展在监测人类行为与活动方面展现出巨大潜力。尽管这些算法在受控环境中表现良好，自然驾驶条件却带来了新的挑战，如光照变化、遮挡以及极端头部姿态。需要大量领域内数据来训练模型，以在预测驾驶相关任务时提供高性能，从而有效监测驾驶员的动作与行为。为构建所需基础设施，本文提出了多模态驾驶员监测（MDM）数据集，该数据集由59名受试者执行各类任务时录制而成。我们使用Fi-Cap设备，通过基准标记连续跟踪驾驶员的头部运动，提供基于帧的标注以在自然驾驶条件下训练头部姿态算法。我们要求驾驶员注视预定注视点，以获取驾驶员面部图像与视觉注意力之间的准确关联。我们还收集了驾驶员进行常见次级活动（如使用智能手机导航、操作车载信息娱乐系统）时的数据。驾驶员的所有活动均由高清RGB相机与飞行时间深度相机记录。我们还记录了控制器局域网络总线（CAN-Bus），提取重要信息。这些高质量记录可作为训练各种高效驾驶员监测算法的理想资源，推动车载安全系统领域的进一步发展。