基于混合CNN-RNN模型的沉浸式驾驶场景认知负荷预测

交通安全研究中的一个有争议的问题是,次要任务的认知负荷会降低 primary task 的表现,如驾驶。虽然生理信号已被广泛用于驾驶相关研究中以评估认知负荷,但仅有少数研究专注于高认知负荷场景。大多数现有研究倾向于检查中等或低水平的认知负荷。本研究采用听觉版的三水平n-back任务作为认知负荷次要任务,在驾驶模拟器中进行。在驾驶和n-back任务的同时,我们记录了fNIRS、眼动和驾驶行为数据,以预测三个不同水平的认知负荷。据称,这种数据源的组合至今未被使用。与大多数先前研究利用二元分类认知负荷并在无交通条件下进行的做法不同,本研究涉及三个认知负荷水平,驾驶员在正常交通条件下作业,具体为夜间和雨天的低可见度条件。我们提出了一种混合神经网络,结合1D卷积神经网络(CNN)和循环神经网络(RNN)以预测认知负荷。我们的实验结果表明,该模型参数更少,使用生理数据时准确率从99.82%提升至99.99%,使用驾驶行为数据时准确率从87.26%提升至92.02%。这一显著改进凸显了该混合神经网络在挑战性条件下准确预测驾驶中认知负荷的有效性。