自主 AI 监控：多模态深度学习用于认知与行为监测
计算机视觉与模式识别
2025-07-03 v1 人工智能
机器学习
摘要
本研究提出了一种新颖的教室监控系统，集成了多种模态，包括嗜睡检测、手机使用跟踪和人脸识别，以实现对学生专注力的精准评估。该系统利用 YOLOv8 模型检测手机和睡眠使用情况(Ghatge 等，2024)，同时通过 YOLO 和 MTCNN 实现人脸识别(LResNet Occ FC)。这些模型协同工作，提供全面实时监控，为学生参与度和行为提供洞察(S 等，2023)。该框架在 specialized 数据集上训练，例如用于人脸识别的 RMFD 数据集和用于手机检测的 Roboflow 数据集。系统的广泛评估显示出色结果。睡眠检测达到 97.42% mAP@50，人脸识别达到 86.45% 验证准确率，手机检测达到 85.89% mAP@50。该系统在核心 PHP Web 应用程序中实现，利用 ESP32-CAM 硬件实现无缝数据捕获。这种集成方法不仅增强了教室监控，还通过人脸识别实现自动点名，学生坐在教室内即可完成，适用于多样化的教育环境。
引用
@article{arxiv.2507.01590,
title = {Autonomous AI Surveillance: Multimodal Deep Learning for Cognitive and Behavioral Monitoring},
author = {Ameer Hamza and Zuhaib Hussain But and Umar Arif and Samiya and M. Abdullah Asad and Muhammad Naeem},
journal= {arXiv preprint arXiv:2507.01590},
year = {2025}
}