关于驾驶员情境危急意识评估：多模态生物传感与基于视觉的分析、评估及洞见
人机交互
2020-01-20 v3
摘要
道路上的汽车正越来越多地采用高级驾驶辅助系统。此类新技术的采用要求我们开发新颖的感知系统，不仅用于准确理解这些车辆的情境上下文，也用于推断驾驶员在区分安全与危急情境时的意识。本稿件聚焦于在注意力分析与危险事件活动背景下推断驾驶员意识这一具体问题。即便近年来可穿戴且紧凑的多模态生物传感系统已得到发展，其在驾驶员意识背景下的应用仍鲜有探索。除传统采用的计算机系统视觉系统外，同时记录不同种类生物传感数据的能力，为探索这些传感器模态的局限性提供了令人振奋的机遇。本工作中，我们探索了三种不同生物传感模态——即脑电图（EEG）、光电容积描记图（PPG）与皮肤电反应（GSR）——连同基于摄像机的视觉系统在驾驶员意识背景下的应用。我们使用信号处理与基于深度学习的工具，分别及联合地评估这些传感器的信息。我们表明，在二秒短时段尺度上分类驾驶员注意力与检测危险/非危险情境方面，我们的方法优于先前报道的研究。我们使用 EEG 与视觉数据进行高分辨率时间分类（二秒），同时还在更长时间段上额外采用 PPG 与 GSR。我们通过采集十二名受试者的用户数据来评估我们的方法，涉及两个真实驾驶数据集，其中一个是公开可用的（KITTI 数据集），另一个由我们采集（LISA 数据集）并搭载该车辆……
引用
@article{arxiv.1910.00444,
title = {On Assessing Driver Awareness of Situational Criticalities: Multi-modal Bio-sensing and Vision-based Analysis, Evaluations, and Insights},
author = {Siddharth Siddharth and Mohan M. Trivedi},
journal= {arXiv preprint arXiv:1910.00444},
year = {2020}
}
备注
Journal article published in MDPI Brain Sciences. arXiv admin note: text overlap with arXiv:1905.00503