基于面部关键点与时空图卷积网络的参与度测量
计算机视觉与模式识别
2024-10-04 v2
摘要
虚拟学习中的参与度对学生满意度、表现以及对学习计划的遵从性等多种因素至关重要，但测量参与度是一项具有挑战性的任务。因此，利用人工智能和情感计算在自然场景下大规模测量参与度引起了相当大的兴趣。本文提出一种新颖的、保护隐私的基于视频的参与度测量方法。该方法使用通过 MediaPipe 深度学习方案从视频中提取的面部关键点，这些关键点不携带任何个人身份信息。提取的面部关键点被输入时空图卷积网络（ST-GCN），以输出视频中学生的参与度水平。为将参与度变量的有序性融入训练过程，ST-GCN 在一个基于迁移学习的新型有序学习框架中进行训练。在两个视频学生参与度测量数据集上的实验结果表明，所提方法优于先前方法：在 EngageNet 数据集上，四类参与度水平分类准确率提升了 3.1%；在 Online Student Engagement 数据集上，二分类参与度分类准确率提升了 1.5%，均达到了新的最优水平。我们将梯度加权类激活映射（Grad-CAM）应用于所开发的 ST-GCN，以在空间和时间域上解释所提方法获得的参与度测量结果。相对轻量且快速的 ST-GCN 及其与实时 MediaPipe 的集成，使得所提方法能够部署在虚拟学习平台上并实时测量参与度。
引用
@article{arxiv.2403.17175,
title = {Engagement Measurement Based on Facial Landmarks and Spatial-Temporal Graph Convolutional Networks},
author = {Ali Abedi and Shehroz S. Khan},
journal= {arXiv preprint arXiv:2403.17175},
year = {2024}
}