基于多尺度可变形 Transformer 的智慧教室学生学习行为检测
计算机视觉与模式识别
2024-10-11 v1
摘要
人工智能正快速融入现代教育系统，尤其是在教室内的学生行为监控领域，这一任务传统上依赖于人工观察。这种传统方法效率低下，推动了向更高级解决方案的转变，如计算机视觉。然而，现有的目标检测模型面临遮挡、模糊和尺度不一致等挑战，这些问题在教室这种动态复杂的环境中尤为突出。此外，这些模型还必须能灵活处理多目标检测。为克服这些障碍，我们提出了一种创新方法——多尺度可变形 Transformer 学生学习行为检测系统（SCB-DETR），它利用大卷积核进行上采�特征提取，并实现多尺度特征融合。该技术显著提升了对多尺度和遮挡目标的检测能力，为分析学生行为提供了稳健的解决方案。SCB-DETR 构建了一个端到端的框架，简化了检测流程，并在其他深度学习方法中 consistently 取得优异成绩。通过我们定制的学生教室行为（SCBehavior）数据集，SCB-DETR 实现了 0.626 的平均精度（mAP），相较于基线模型的 mAP 提升 1.5%，AP50 提升 6%。这些结果表明，SCB-DETR 在处理学生行为的分布不均且在动态教室环境中确保精准检测方面具有优势。
引用
@article{arxiv.2410.07834,
title = {Multi-Scale Deformable Transformers for Student Learning Behavior Detection in Smart Classroom},
author = {Zhifeng Wang and Minghui Wang and Chunyan Zeng and Longlong Li},
journal= {arXiv preprint arXiv:2410.07834},
year = {2024}
}
备注
19 Pages