CLARE：基于多模态数据的实时认知负荷评估
人机交互
2025-09-03 v2 人工智能
摘要
我们提出了一个用于实时认知负荷评估（CLARE）的新型多模态数据集。该数据集包含24名参与者的生理和眼动数据，并以自我报告的认知负荷评分作为真实标签。该数据集由四种模态组成，即心电图（ECG）、皮电活动（EDA）、脑电图（EEG）和眼动追踪。为了在实验期间为参与者映射不同水平的心智负荷，每位参与者在一台基于计算机的操作员表现与心智负荷任务（MATB-II 软件）上完成了四个时长为九分钟的会话，这些会话以一分钟为片段且复杂程度各异。在实验过程中，参与者每10秒报告一次其认知负荷。针对该数据集，我们还提供了在两种不同评估方案（即10折和留一受试者交叉验证（LOSO））下使用机器学习和深度学习模型的基准二分类结果。基准结果表明，对于10折评估，基于卷积神经网络（CNN）的深度学习模型结合ECG、EDA和眼动数据取得了最佳分类性能。相反，对于LOSO，结合ECG、EDA和EEG的深度学习模型取得了最佳性能。
引用
@article{arxiv.2404.17098,
title = {CLARE: Cognitive Load Assessment in REaltime with Multimodal Data},
author = {Anubhav Bhatti and Prithila Angkan and Behnam Behinaein and Zunayed Mahmud and Dirk Rodenburg and Heather Braund and P. James Mclellan and Aaron Ruberto and Geoffery Harrison and Daryl Wilson and Adam Szulewski and Dan Howes and Ali Etemad and Paul Hungler},
journal= {arXiv preprint arXiv:2404.17098},
year = {2025}
}
备注
13 pages, 10 figures, 6 tables