探索视觉问答（VQA）在课堂活动监控中的应用
计算机视觉与模式识别
2025-09-03 v3 人工智能
摘要
课堂行为监控是教育研究中的关键环节，对学生参与度和学习成果具有重要影响。近期视觉问答(VQA)模型的进展为从视频录制中自动分析复杂课堂互动提供了可行之道。本文考察了多个最先进的开源 VQA 模型——包括 LLaMA2、LLaMA3、QWEN3 和 NVILA——在课堂行为分析中的适用性。为便于严格评估，我们引入了由越南银行学院真实课堂视频录制得出的 BAV-Classroom-VQA 数据集。我们呈现了数据收集、标注的 methodology，并对所选 VQA 模型在该数据集上的表现进行基准测试。我们的初始实验结果表明，四个模型在回答与行为相关的视觉问题方面均达到了有希望的性能水平，展示了其在未来课堂分析和干预系统中的潜力。
引用
@article{arxiv.2507.22369,
title = {Exploring the Application of Visual Question Answering (VQA) for Classroom Activity Monitoring},
author = {Sinh Trong Vu and Hieu Trung Pham and Dung Manh Nguyen and Hieu Minh Hoang and Nhu Hoang Le and Thu Ha Pham and Tai Tan Mai},
journal= {arXiv preprint arXiv:2507.22369},
year = {2025}
}