MATT：面向电子学习平台的多模态注意力水平估计
计算机视觉与模式识别
2023-01-24 v1 人机交互
机器学习
摘要
本工作提出了一种基于多模态人脸分析的远程注意力水平估计新系统。我们的多模态方法使用从与认知负荷建模相关的行为和生理过程中获得的不同的参数与信号，例如面部手势（如眨眼率、面部动作单元）和用户动作（如头部姿态、到摄像头的距离）。该多模态系统使用以下基于卷积神经网络（CNNs）的模块：眨眼检测、头部姿态估计、面部标志点检测和面部表情特征。首先，我们单独评估所提模块在估计在线电子学习会话期间捕获的学生注意力水平任务上的表现。为此，我们基于支持向量机（SVM）为每个模块训练了二分类器（高或低注意力）。其次，我们探究多模态分数级融合在多大程度上改进了注意力水平估计。实验框架中使用了 mEBAL 数据库，这是一个在电子学习环境中获得的用于注意力水平估计的公开多模态数据库，包含 38 名用户在完成多个难度可变（造成学生认知负荷变化）的电子学习任务时的数据。
引用
@article{arxiv.2301.09174,
title = {MATT: Multimodal Attention Level Estimation for e-learning Platforms},
author = {Roberto Daza and Luis F. Gomez and Aythami Morales and Julian Fierrez and Ruben Tolosana and Ruth Cobos and Javier Ortega-Garcia},
journal= {arXiv preprint arXiv:2301.09174},
year = {2023}
}
备注
Preprint of the paper presented to the Workshop on Artificial Intelligence for Education (AI4EDU) of AAAI 2023