基于多模态的大学讲座录音教学活动分类
计算与语言
2024-01-01 v1 机器学习
摘要
由于全球疫情，人们对在线高等教育的理解发生了巨大变化。教学以远程方式进行，教师将讲座音频录制作为教学材料的一部分。这种新的在线教学-学习环境对大学课堂产生了重大影响。尽管过去两年中丰富虚拟课堂的在线教学技术层出不穷，但在在线学习过程中为学生提供支持方面却并未出现同样的情况。为了克服这一局限，我们的目标是让学生能够轻松访问课程录音中教师讲解理论概念、解答习题或评论课程组织问题的部分。为此，我们提出了一种多模态分类算法，该算法利用基于Transformer的语言模型，通过音频文件和自动讲座转录的特征来识别课程中任何时刻正在进行的活动类型。实验结果表明，某些学术活动更容易通过音频信号识别，而其他活动则需要借助文本转录。总之，我们的贡献在于识别教师在课程中的学术活动。
引用
@article{arxiv.2312.17262,
title = {Multimodal Classification of Teaching Activities from University Lecture Recordings},
author = {Oscar Sapena and Eva Onaindia},
journal= {arXiv preprint arXiv:2312.17262},
year = {2024}
}
备注
18 pages