迈向自动化课堂观察：利用多模态机器学习估计 CLASS 积极氛围与消极氛围
计算机视觉与模式识别
2021-07-26 v3 机器学习
声音
音频与语音处理
摘要
本文中我们提出一个基于多模态机器学习的系统，称之为 ACORN，用于分析学校课堂视频中教育研究中广泛使用的 CLASS 观察协议里的积极氛围（PC）和消极氛围（NC）维度。ACORN 使用卷积神经网络分析频谱音频特征、教师与学生的面部以及每幅图像帧的像素，随后利用时间卷积网络随时间整合这些信息。在 UVA Toddler 数据集（对 n=300 个 15 分钟视频片段进行交叉验证）上，视听 ACORN 的 PC 和 NC 预测与专家 CLASS 编码员提供的真值分数的 Pearson 相关系数分别为 0.55 和 0.63；在 MET 数据集（n=2000 个视频片段的测试集）上，纯听觉 ACORN 预测 PC 和 NC 的相关系数分别为 0.36 和 0.41。这些数值与人类编码员间的信度相近。最后，我们利用图卷积网络在预测 PC 特别弱/强的特定时刻（45–90 秒片段）方面取得初步进展（AUC=0.70）。我们的发现为自动化课堂观察以及更通用的视频活动识别与摘要识别系统的设计提供了参考。
引用
@article{arxiv.2005.09525,
title = {Toward Automated Classroom Observation: Multimodal Machine Learning to Estimate CLASS Positive Climate and Negative Climate},
author = {Anand Ramakrishnan and Brian Zylich and Erin Ottmar and Jennifer LoCasale-Crouch and Jacob Whitehill},
journal= {arXiv preprint arXiv:2005.09525},
year = {2021}
}
备注
The authors discovered that the results are not reproducible