基于时空网络与多模型融合的学生课堂行为检测
计算机视觉与模式识别
2024-09-10 v4
摘要
利用深度学习方法自动检测学生课堂行为，是分析其课堂表现与提升教学效果的一种可行途径。然而，缺乏公开的学生行为时空数据集，以及人工标注此类数据集的高成本，为该领域研究者带来显著挑战。为此，我们提出一种通过图像数据集扩展学生课堂场景时空行为数据集（SCB-ST-Dataset4）的方法。我们的 SCB-ST-Dataset4 包含 757265 幅图像与 25810 个标签，聚焦于举手、阅读、书写三种行为。所提方法无需额外人工标注即可快速生成时空行为数据集。此外，我们提出行为相似度指数（BSI）以探究行为间的相似性。我们使用 YOLOv5、YOLOv7、YOLOv8 与 SlowFast 算法评估该数据集，取得最高 82.3% 的平均精度均值（mAP）。最后，我们融合多个模型从多视角生成学生行为相关数据。实验进一步证明了方法的有效性。SCB-ST-Dataset4 为未来学生行为检测研究提供了坚实基础，有望推动该领域发展。SCB-ST-Dataset4 下载地址：https://github.com/Whiffe/SCB-dataset。
引用
@article{arxiv.2310.16267,
title = {Student Classroom Behavior Detection based on Spatio-Temporal Network and Multi-Model Fusion},
author = {Fan Yang and Xiaofei Wang},
journal= {arXiv preprint arXiv:2310.16267},
year = {2024}
}
备注
arXiv admin note: substantial text overlap with arXiv:2310.02522; text overlap with arXiv:2306.03318