用于检测驾驶员分心的多模态多项式融合
计算机视觉与模式识别
2018-10-26 v1 人工智能
人机交互
摘要
分心驾驶是致命的，仅 2015 年美国就有 3,477 人因此丧生。尽管关于各种条件下驾驶员分心行为建模的研究已相当丰富，但利用多模态进行准确自动检测，尤其是使用语音模态提升准确性的贡献却鲜受关注。本文引入了一个用于驾驶员分心行为的多模态新数据集，并讨论了利用来自三种模态的特征进行自动分心检测：面部表情、语音与车辆信号。细致的多模态特征分析表明，增加更多模态可单调提升模型的预测准确率。最后，一种使用多项式融合层的简单而有效的多模态融合技术，相较于基线 SVM 与神经网络模型展现出更优的分心检测结果。
引用
@article{arxiv.1810.10565,
title = {Multimodal Polynomial Fusion for Detecting Driver Distraction},
author = {Yulun Du and Chirag Raman and Alan W Black and Louis-Philippe Morency and Maxine Eskenazi},
journal= {arXiv preprint arXiv:1810.10565},
year = {2018}
}
备注
INTERSPEECH 2018