CMOSE: 具有高质量标签的综合性多模态在线学生参与度数据集
计算机视觉与模式识别
2024-06-05 v2 人工智能
摘要
在线学习是一个快速增长的行业。然而，关于在线学习的一个主要疑问是学生是否像在面对面课堂中那样投入。一个参与度识别系统可以通知教师学生的状态并改善学习体验。当前参与度检测面临的挑战包括标签质量差、极端数据不平衡以及类内多样性——即某一参与度水平下行为的多样性。为解决这些问题，我们提出了CMOSE数据集，其包含来自不同参与度水平的大量数据以及根据心理学建议标注的高质量标签。我们还提出了一种训练机制MocoRank，以处理类内多样性和不同参与度等级的序数模式。MocoRank优于先前的参与度检测框架，总体准确率提升1.32%，平均准确率提升5.05%。此外，我们通过结合视频特征与语音和音频特征，展示了多模态在参与度检测中的有效性。数据可迁移性实验也表明，所提出的CMOSE数据集提供了更优的标签质量和行为多样性。
引用
@article{arxiv.2312.09066,
title = {CMOSE: Comprehensive Multi-Modality Online Student Engagement Dataset with High-Quality Labels},
author = {Chi-hsuan Wu and Shih-yang Liu and Xijie Huang and Xingbo Wang and Rong Zhang and Luca Minciullo and Wong Kai Yiu and Kenny Kwan and Kwang-Ting Cheng},
journal= {arXiv preprint arXiv:2312.09066},
year = {2024}
}
备注
11 pages