状态词袋：一种基于视频的参与度测量的非序贯方法
人机交互
2023-01-18 v1 人工智能
计算机视觉与模式识别
摘要
学生参与度的自动测量为教师实现学习计划目标和个性化教学交付提供了有用信息。为了测量学生的参与度水平，需要在细粒度时间尺度上分析学生的行为和情绪状态。许多现有方法开发了序贯和时空模型，如循环神经网络、时间卷积网络和三维卷积神经网络，用于从视频中测量学生参与度。这些模型被训练为将学生行为和情绪状态的顺序纳入视频分析，并输出其参与度水平。在本文中，以教育心理学为支撑，我们质疑在测量学生参与度时对其行为和情绪状态顺序进行建模的必要性。我们开发了基于词袋的模型，其中仅对学生行为和情绪状态的出现进行建模和分析，而非其出现的顺序。从视频中提取行为和情绪特征，并由所提出的模型进行分析，以在序数输出分类设置中确定参与度水平。与现有的用于参与度测量的序贯和时空方法相比，所提出的非序贯方法改进了 SOTA 结果。根据实验结果，与序贯模型相比，我们的方法在 IIITB Online SE 数据集上的参与度水平分类准确率显著提高了 26%，并在 DAiSEE 学生参与度数据集上达到了高达 66.58% 的参与度水平分类准确率。
引用
@article{arxiv.2301.06730,
title = {Bag of States: A Non-sequential Approach to Video-based Engagement Measurement},
author = {Ali Abedi and Chinchu Thomas and Dinesh Babu Jayagopi and Shehroz S. Khan},
journal= {arXiv preprint arXiv:2301.06730},
year = {2023}
}