利用视觉语言模型通过面部表情检测学生的学术情绪
计算机视觉与模式识别
2025-06-13 v1 人工智能
摘要
学生的学术情绪显著影响其社会行为和学习表现。传统上自动且准确地分析这些情绪的方法主要依赖监督式机器学习算法。然而，这些模型往往难以在不同情境之间泛化，需要反复进行数据收集、标注和训练。视觉语言模型（VLMs）的出现提供了一种有前景的替代方案，通过零样本提示即可在视觉识别任务中实现泛化，而无需微调。本研究探讨了VLMs在在线学习环境中通过面部表情分析学生学术情绪的潜力。我们采用了两种VLMs——Llama-3.2-11B-Vision-Instruct和Qwen2.5-VL-7B-Instruct——通过零样本提示分析了5000张描绘困惑、分心、快乐、中性和疲惫表情的图像。初步结果表明，两种模型在学术面部表情识别中均表现出中等性能，其中Qwen2.5-VL-7B-Instruct优于Llama-3.2-11B-Vision-Instruct。值得注意的是，两种模型在识别学生的快乐情绪方面表现出色，但无法检测到分心行为。此外，Qwen2.5-VL-7B-Instruct在识别学生困惑表情方面表现出相对较高的性能，突显了其在识别导致学生困惑的内容方面的实际应用潜力。
引用
@article{arxiv.2506.10334,
title = {Using Vision Language Models to Detect Students' Academic Emotion through Facial Expressions},
author = {Deliang Wang and Chao Yang and Gaowei Chen},
journal= {arXiv preprint arXiv:2506.10334},
year = {2025}
}