基于 Transformer 变频特征建模的在线学习学生参与度分类
计算机视觉与模式识别
2025-02-18 v1
摘要
COVID-19 疫情与互联网的普及近期极大地推动了在线学习的发展。然而，监控在线学习中的参与度对教师而言是一项困难的任务。在此背景下，及时自动的学生参与度分类可帮助教师做出适应性调整以满足学生需求。本文提出 EngageFormer，一种基于 Transformer 的架构，利用视频模态并通过序列池化进行参与度分类。该架构从输入视频中计算三个视角，并使用 Transformer 编码器对其进行并行处理；全局编码器随后处理来自各编码器的表示，最后由多层感知机 (MLP) 预测参与度水平。本文从现有开源数据库中构建了一个以学习为中心的情感状态数据集。所提方法在 E-Environments 情感状态数据集 (DAiSEE)、Bahcesehir 大学多模态情感数据库-1 (BAUM-1)、哈欠检测数据集 (YawDD)、德克萨斯大学阿灵顿分校真实生活困倦数据集 (UTA-RLDD) 以及构建的以学习为中心的情感状态数据集上分别达到了 63.9%、56.73%、99.16%、65.67% 和 74.89% 的准确率。在 BAUM-1、DAiSEE 和 YawDD 数据集上取得的结果展示了 SOTA 性能，表明所提模型在这些数据集上准确分类情感状态的优越性。此外，在涉及二分类的 UTA-RLDD 数据集上获得的结果可作为未来研究的基线。这些结果为进一步研究提供了基础，并可作为未来工作进行比较与改进的参考。
引用
@article{arxiv.2502.10813,
title = {Transformer-Driven Modeling of Variable Frequency Features for Classifying Student Engagement in Online Learning},
author = {Sandeep Mandia and Kuldeep Singh and Rajendra Mitharwal and Faisel Mushtaq and Dimpal Janu},
journal= {arXiv preprint arXiv:2502.10813},
year = {2025}
}
备注
22 pages, 5 figures, and 6 tables