一种基于时空注意力的方法用于学生课堂行为检测
计算机视觉与模式识别
2024-09-10 v4
摘要
从课堂视频中准确检测学生行为有助于分析其课堂状态并提升教学效率。然而，学生课堂行为检测准确率低是普遍存在的问题。为此，我们提出了一种基于时空注意力的方法用于检测学生课堂行为（BDSTA）。首先，使用SlowFast网络从视频中生成运动与环境信息特征图。随后，将时空注意力模块应用于特征图，包括信息聚合、压缩与激励过程。接着，获得时间、通道与空间维度的注意力图，并基于这些注意力图进行多标签行为分类。为解决学生课堂行为数据集中存在的长尾数据问题，我们使用改进的focal loss函数在训练中对尾类数据赋予更大权重。实验在名为STSCB的自制学生课堂行为数据集上进行。与SlowFast模型相比，使用BDSTA的学生行为分类检测平均准确率提升了8.94。
引用
@article{arxiv.2310.02523,
title = {A Spatio-Temporal Attention-Based Method for Detecting Student Classroom Behaviors},
author = {Fan Yang},
journal= {arXiv preprint arXiv:2310.02523},
year = {2024}
}