用于学习过程中注意力相关过程自动评估的多模态机器学习

注意力是成功学习的关键因素，研究表明（不）注意力与学习成果之间存在强关联。本论文通过聚焦于利用眼动追踪、计算机视觉和机器学习自动检测注意力相关过程，推动了该领域的发展，提供了比自我报告或观察等传统方法更客观、连续且可扩展的评估。它引入了新颖的计算方法，用于评估在线和课堂学习环境中（不）注意力的多个维度，并解决了精细粒度评估、泛化性和野外数据质量等挑战。首先，本论文探索了走神（一种注意力从学习任务上转移的现象）的自动检测。采用一种集成眼动追踪、视频和生理数据的新颖多模态方法，区分了有意识走神和无意识走神。此外，还考察了基于可扩展网络摄像头的检测方法在不同任务、环境和目标群体中的泛化性。其次，本论文研究了在线学习过程中的注意力指标。眼动追踪分析显示，注意力集中的学习者之间具有显著更高的注视同步性。第三，本论文通过使用一种新颖的视角不变且对遮挡鲁棒的基于骨架的方法检测举手行为（作为行为参与度的指标），探讨了课堂学习中的注意力相关过程。本论文通过开发和改进用于检测走神、任务专注行为和行为参与度的方法，推进了教育环境中注意力相关过程的自动评估。它架起了教育理论与计算机科学先进方法之间的桥梁，加深了我们对显著影响学习成果和教育实践的注意力相关过程的理解。