基于注意力引导的双流学习用于团队参与度识别：通过自适应门控融合 Transformer 编码的运动动态与场景上下文

学生参与度对于提高小组活动中的学习成果至关重要。高度参与度的学生在个人层面表现更好，并有助于整体团队成功。然而，大多数现有自动化参与度识别方法为在线教室设计，或以individual层面估计参与度。这一工作提出 DualEngage，一种新的双流框架，用于从课堂视频中进行小组层面的参与度识别。它将参与度建模为individual和group层面行为的联合函数。主流流通过检测和跟踪学生，提取基于 Recurrent All-Pairs Field Transforms 网络的稠密光流，使用 transformer 编码器编码运动模式的时间序列，最终通过注意力池化聚合每个学生的表示以生成统一表示。次要流从完整视频剪辑中捕获场景层面的时空信息，利用预训练的三维残差网络。两种流的表示通过 softmax 门控融合组合，动态加权每个特征的贡献。DualEngage 学习individual动作与group动态的联合表示。我们在由 Ocean University of China 开发的 Classroom Group Engagement Dataset 上采用五折交叉验证评估所提出的方法，实现平均分类准确率为 0.9621±0.0161，宏平均 F1 为 0.9530±0.0204。为理解每个分支的贡献，我们进一步对比了单流变体与双流模型进行消融研究。这项工作是教室参与度识别中首次采用双流设计以显式利用运动线索作为估计器的工作之一。