UL-DD：基于视频、生物信号与行为数据的多模态嗜睡数据集
计算机视觉与模式识别
2025-07-21 v1 机器学习
摘要
本研究提出了一个综合的公共数据集，用于驾驶员嗜睡检测，集成了面部、行为和生物指标的多模态信号。该数据集包括使用深度相机的 3D 面部视频、红外摄像头录像、后视视频，以及心率、皮肤电活性、血氧饱和度、皮肤温度和加速度计数据等生物信号。本数据集提供了来自方向盘的握持传感器数据和来自美国卡车模拟游戏的遥测数据，以提供关于驾驶员在警觉和嗜睡状态下的行为信息。嗜睡程度每 4 分钟自行报告一次，使用 Karolinska Sleepiness Scale (KSS)。模拟环境包括三个显示器设置，驾驶条件完全模拟汽车。数据来自 19 名受试者（15 名男性，4 名女性），两种状态：完全警觉和出现嗜睡迹象。与其他数据集不同，本多模态数据集的每个数据收集 session 持续 40 分钟，总时长达 1,400 分钟，我们记录了驾驶员状态的渐变变化，而非离散的警觉/嗜睡标签。本研究旨在创建一个涵盖更广泛生理、行为和驾驶相关信号的综合性多模态嗜睡数据集。该数据集将在请求对应作者后提供。
引用
@article{arxiv.2507.13403,
title = {UL-DD: A Multimodal Drowsiness Dataset Using Video, Biometric Signals, and Behavioral Data},
author = {Morteza Bodaghi and Majid Hosseini and Raju Gottumukkala and Ravi Teja Bhupatiraju and Iftikhar Ahmad and Moncef Gabbouj},
journal= {arXiv preprint arXiv:2507.13403},
year = {2025}
}