基于 YOLOv7-BRA 与多模型融合的学生课堂行为检测
计算机视觉与模式识别
2024-09-10 v2
摘要
准确检测课堂视频中的学生行为有助于分析其课堂表现并提升教学效果。然而，当前行为检测准确率较低。为应对该挑战，我们提出基于 YOLOv7-BRA（带双层路由注意力机制的 YOLOv7）的学生课堂行为检测系统。我们识别了八种不同行为模式，包括站立、坐下、说话、听讲、走动、举手、阅读和书写。我们构建了一个数据集，包含 11,248 个标签与 4,001 张图像，重点为课堂环境中常见的举手行为（学生课堂行为数据集，SCB-Dataset）。为提升检测精度，我们在 YOLOv7 网络中添加了 biformer 注意力模块。最后，我们融合 YOLOv7 CrowdHuman、SlowFast 与 DeepSort 模型的结果以获取学生课堂行为数据。我们在 SCB-Dataset 上实验，YOLOv7-BRA 取得 87.1% 的 [email protected]，较先前结果提升 2.2%。我们的 SCB-dataset 可从 https://github.com/Whiffe/SCB-datase 下载。
引用
@article{arxiv.2305.07825,
title = {Student Classroom Behavior Detection based on YOLOv7-BRA and Multi-Model Fusion},
author = {Fan Yang and Tao Wang and Xiaofei Wang},
journal= {arXiv preprint arXiv:2305.07825},
year = {2024}
}
备注
arXiv admin note: substantial text overlap with arXiv:2304.02488