面向课堂活动检测的多模态学习
音频与语音处理
2020-02-12 v3 机器学习
声音
摘要
课堂活动检测（CAD）侧重于准确分类教师或学生是否在讲话，并记录课堂上个体话语的时长。CAD 解决方案有助于教师获得关于其教学指导的即时反馈。这极大提升了教育工作者的教学技能，从而促进学生成绩的提高。然而，CAD 非常具有挑战性，因为（1）CAD 模型需要对不同教师和学生具有足够好的泛化能力；（2）必须明智地融合来自语音和语言两种模态的数据，使其互为补充；（3）该解决方案不应严重依赖额外的录音设备。在本文中，我们通过使用一种新颖的基于注意力的神经框架来解决上述挑战。我们的框架不仅提取语音和语言信息，还利用注意力机制捕捉长期语义依赖。我们的框架无需设备，能够将任意课堂录音作为输入。所提出的 CAD 学习框架在两个真实世界的教育应用中进行了评估。实验结果证明了我们的方法在从具有不同模态的课堂数据中学习基于注意力的神经网络方面的优势，并表明我们的方法在各种评估指标上能够优于 SOTA 基线。
引用
@article{arxiv.1910.13799,
title = {Multimodal Learning For Classroom Activity Detection},
author = {Hang Li and Yu Kang and Wenbiao Ding and Song Yang and Songfan Yang and Gale Yan Huang and Zitao Liu},
journal= {arXiv preprint arXiv:1910.13799},
year = {2020}
}
备注
The 45th International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2020)