DMD：用于注意力与警觉性分析的大规模多模态驾驶员监测数据集
计算机视觉与模式识别
2021-04-01 v1 机器学习
图像与视频处理
摘要
视觉是驾驶员监测系统（DMS）中最丰富且最具成本效益的技术，尤其在深度学习（DL）方法近期取得成功之后。缺乏足够大规模且全面的数据集目前是 DMS 发展的瓶颈，而对实现自动驾驶从 SAE 2 级到 SAE 3 级的过渡至关重要。本文我们介绍驾驶员监测数据集（DMD），一个包含真实与仿真驾驶场景的广泛数据集：分心、注视分配、 drowsiness、手-方向盘交互及上下文数据，来自 3 个摄像头拍摄 37 名驾驶员的面部、身体和手部，共 41 小时的 RGB、深度与红外视频。文中包含与现有类似数据集的对比，表明 DMD 更为广泛、多样且多用途。DMD 的使用通过提取其一个子集 dBehaviourMD 数据集加以说明，该子集包含 13 种分心活动，准备用于 DL 训练过程。此外，我们提出一个鲁棒且实时的驾驶员行为识别系统，面向可运行于高性价比仅 CPU 平台的实际应用，基于 dBehaviourMD。其性能通过不同类型的融合策略进行评估，均达到了提升的准确率且仍提供实时响应。
引用
@article{arxiv.2008.12085,
title = {DMD: A Large-Scale Multi-Modal Driver Monitoring Dataset for Attention and Alertness Analysis},
author = {Juan Diego Ortega and Neslihan Kose and Paola Cañas and Min-An Chao and Alexander Unnervik and Marcos Nieto and Oihana Otaegui and Luis Salgado},
journal= {arXiv preprint arXiv:2008.12085},
year = {2021}
}
备注
Accepted to ECCV 2020 workshop - Assistive Computer Vision and Robotics