LecEval：一种用于多媒体学习中多模态知识获取的自动化评估指标
计算与语言
2025-05-06 v1 人工智能
摘要
评估基于幻灯片的多媒体教学质量具有挑战性。现有方法如人工评估、基于参考的指标和大语言模型评估器在可扩展性、上下文捕捉或偏见方面存在局限。在本文中，我们介绍了 LecEval，这是一种基于梅耶多媒体学习认知理论的自动化评估指标，用于评估基于幻灯片的学习中的多模态知识获取。LecEval 使用四个评分标准评估有效性：内容相关性（CR）、表达清晰度（EC）、逻辑结构（LS）和受众参与度（AE）。我们策划了一个大规模数据集，包含来自 50 多个在线课程视频的 2000 多张幻灯片，并标注了这些评分标准上的细粒度人工评分。在该数据集上训练的模型相比现有指标表现出优越的准确性和适应性，弥合了自动化评估与人工评估之间的差距。我们在 https://github.com/JoylimJY/LecEval 发布了我们的数据集和工具包。
引用
@article{arxiv.2505.02078,
title = {LecEval: An Automated Metric for Multimodal Knowledge Acquisition in Multimedia Learning},
author = {Joy Lim Jia Yin and Daniel Zhang-Li and Jifan Yu and Haoxuan Li and Shangqing Tu and Yuanchun Wang and Zhiyuan Liu and Huiqin Liu and Lei Hou and Juanzi Li and Bin Xu},
journal= {arXiv preprint arXiv:2505.02078},
year = {2025}
}
备注
6 pages, 3 figures