在线学习中的知识建构分析:面向非结构化大规模话语的交互分析模型改编
计算与语言
2025-12-17 v3
摘要
在线课程与社交媒体的迅速扩张产生了大量非结构化的学习者生成文本。理解学习者如何在这些空间中建构知识,对于分析学习过程、指导内容设计以及大规模提供反馈至关重要。然而,现有方法通常依赖于对结构良好的讨论论坛进行人工编码,无法扩展到在线学习中碎片化的话语。本研究提出并验证了一个框架,该框架将受交互分析模型启发的编码手册与自动分类器相结合,以实现对非结构化在线话语中知识建构的大规模分析。我们改编了知识建构的四个评论级类别:非知识建构(Non-Knowledge Construction)、分享(Share)、探究(Explore)与整合(Integrate)。三名经过训练的标注员对来自 YouTube 教育频道的 20,000 条平衡样本评论进行了编码。编码手册表现出较强的可靠性,在主数据集上 Cohen's kappa = 0.79,在另外四个教育领域上为 0.85--0.93。在自动分类方面,我们使用 10 折交叉验证,将词袋基线与基于 Transformer 的语言模型进行了比较。DeBERTa-v3-large 模型取得了最高的宏平均 F1 分数(0.841),优于所有基线及其他 Transformer 模型。在四个领域上的外部验证得到的宏 F1 均高于 0.705,其中在医学和编程领域迁移性更强——这些领域的话语更具结构性且以任务为导向;而在语言和音乐领域迁移性较弱——这些领域的评论更加多样且依赖上下文。总体而言,研究表明理论驱动的、半自动化的知识建构大规模分析是可行的,能够将知识建构指标整合到学习分析中,并为在线学习环境的设计提供支持。
引用
@article{arxiv.2510.19858,
title = {Analysing Knowledge Construction in Online Learning: Adapting the Interaction Analysis Model for Unstructured Large-Scale Discourse},
author = {Jindi Wang and Yidi Zhang and Zhaoxing Li and Pedro Bem Haja and Ioannis Ivrissimtzis and Zichen Zhao and Sebastian Stein},
journal= {arXiv preprint arXiv:2510.19858},
year = {2025}
}