基于视频的情感驱动有序参与度测量

在教育与干预项目中，用户参与度已被确定为项目成功完成的主要因素。自动测量用户参与度为教师提供有用信息，以达成项目目标并个性化项目交付。本文提出一种用于虚拟学习项目中基于视频的参与度测量的新方法。我们提出利用从连续视频帧中提取的情感状态（效价与唤醒的连续值），以及一种新的潜在情感特征向量和行为特征来进行参与度测量。深度学习序列模型在提取的帧级特征上进行了训练与验证。此外，由于参与度是一个有序变量，我们开发了上述模型的有序版本，以将参与度测量问题作为有序分类问题来处理。我们在仅有的两个公开可用的视频参与度测量数据集 DAiSEE 和 EmotiW-EW 上评估了所提方法的性能，这些数据集包含在线学习项目中学生的视频。我们的实验在 DAiSEE 数据集上取得了 67.4% 的最先进参与度水平分类准确率，在 EmotiW-EW 数据集上取得了 0.0508 的回归均方误差。我们的消融研究显示了在参与度测量中引入情感状态与参与度有序性的有效性。