利用语言、韵律和面部线索自动检测协作学习中的困惑与冲突

在协作学习过程中，困惑和冲突会自然出现。然而，持续的困惑或冲突有可能引发挫败感，并严重阻碍学习者的表现。对困惑和冲突的早期自动检测将使我们能够支持早期干预，从而改善学生在协作学习中的体验和成果。尽管在单独学习中对困惑建模的研究已十分广泛，但在协作学习领域仍需进一步的工作。本文提出了一个多模态机器学习框架，用于自动检测协作学习中的困惑和冲突。我们使用了来自 38 名小学生的数据，他们在课堂上合作完成了一系列编程任务。我们训练了深度多模态学习模型，利用从学习者协作对话中自动提取的特征来检测困惑和冲突，这些特征包括：（1）语言衍生特征，包括 TF-IDF、词汇语义和情感；（2）音频衍生特征，包括声学-韵律特征；以及（3）视频衍生特征，包括眼动注视、头部姿态和面部表情。我们的结果表明，结合了语义、音高和面部表情的多模态模型在检测困惑和冲突方面达到了最高的准确率，优于所有单模态模型。我们还发现，韵律线索对冲突更具预测性，而面部线索对困惑更具预测性。这项研究有助于协作学习过程的自动化建模，并为开发实时自适应支持以增强学习者在课堂环境中的协作学习体验做出了贡献。