用于多模态 EEG-EOG 表示学习及驾驶员警觉度估计的胶囊注意力方法
机器学习
2021-06-15 v4 计算机视觉与模式识别
信号处理
机器学习
摘要
驾驶员警觉度估计是交通安全的一项重要任务。可穿戴与便携式脑机接口设备为实时监测驾驶员警觉水平提供了有力手段,有助于避免分心或受损驾驶。本文提出一种新颖的多模态架构,用于根据脑电图(EEG)与眼电图(EOG)进行车载警觉度估计。为使系统聚焦于所学多模态表示中最显著的部分,我们提出一种由深度长短期记忆(LSTM)网络之后的胶囊注意力机制组成的架构。我们的模型通过 LSTM 与胶囊特征表示层学习数据中的层次依赖关系。为更好探究所学表示的判别能力,我们研究了所提胶囊注意力机制的效果,包括动态路由迭代次数及其他参数。实验表明,我们的方法优于其他方案与基线技术,树立了新 SOTA,具有鲁棒性。随后我们分析了不同频带与脑区以评估其对驾驶员警觉度估计的适用性。最后,对胶囊注意力、多模态的作用及噪声鲁棒性进行分析,凸显了我们方法的优势。
引用
@article{arxiv.1912.07812,
title = {Capsule Attention for Multimodal EEG-EOG Representation Learning with Application to Driver Vigilance Estimation},
author = {Guangyi Zhang and Ali Etemad},
journal= {arXiv preprint arXiv:1912.07812},
year = {2021}
}
备注
Accepted by IEEE Transactions on Neural Systems and Rehabilitation Engineering