基于课堂人脸视频的多模态参与度分析
计算机视觉与模式识别
2024-10-28 v2 多媒体
摘要
学生参与度是学习与教学的关键构念。尽管多数文献探讨了基于计算机环境下的学生参与度分析，本文将该关注点扩展至课堂授课。为最佳考察课堂中学生的视觉参与度，我们开展了一项研究，利用一所中学超过一个半月的课堂音视频记录，在重复会话中对每名学生（N=15）获取连续参与度标注，并探索从课堂人脸分类参与度水平的计算机视觉方法。我们为注意与情感特征训练深度嵌入，训练 Attention-Net 用于头部姿态估计、Affect-Net 用于面部表情识别。我们还训练了由支持向量机、随机森林、多层感知机与长短期记忆组成的不同的参与度分类器，用于上述两类特征。表现最佳的参与度分类器在八年级与十二年级分别取得 .620 与 .720 的 AUC。我们进一步探究融合策略，发现分数级融合要么提升参与度分类器，要么与最佳模态表现相当。我们也考察了个性化的影响，发现仅使用由基分类器边缘不确定性筛选的 60 秒特定人数据，可带来平均 .084 的 AUC 提升。本工作的主要目的在于提供技术手段，以助力教学质量研究与教师培训背景下课堂视频的手动数据分析。
引用
@article{arxiv.2101.04215,
title = {Multimodal Engagement Analysis from Facial Videos in the Classroom},
author = {Ömer Sümer and Patricia Goldberg and Sidney D'Mello and Peter Gerjets and Ulrich Trautwein and Enkelejda Kasneci},
journal= {arXiv preprint arXiv:2101.04215},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication