从学生话语中预测挑战时刻：GPT-4 与两种传统自然语言处理方法的比较
计算与语言
2024-01-04 v1 计算机与社会
摘要
有效协作需要小组进行策略性自我调节以克服挑战。研究表明，由于成员对挑战的感知差异，小组可能无法有效调节，这可能需要外部支持。本研究探讨了利用三种不同的自然语言处理模型——基于专家知识的规则模型、有监督机器学习 (ML) 模型和大语言模型 (LLM)——从学生话语中检测挑战并识别挑战维度（认知、元认知、情感和技术/其他挑战）的潜力。结果表明，与严重依赖专家设计特征的基于规则的方法相比，有监督 ML 和 LLM 方法在这两项任务中均表现相当出色。本文对这三种方法在协作学习活动中自动检测和支持学生挑战时刻的性能进行了广泛讨论。文章认为，尽管 LLM 提供了许多优势，但由于其缺乏可靠性，以及在效度评估、隐私和虚构方面的问题，它们不太可能成为解决学习的社会共享调节检测与反馈提供问题的万能药。我们以对额外考量因素的讨论作为论文结尾，包括模型透明度，以探索使用 LLM 为学生和教育者提供可行且有意义的分析反馈。
引用
@article{arxiv.2401.01692,
title = {Predicting challenge moments from students' discourse: A comparison of GPT-4 to two traditional natural language processing approaches},
author = {Wannapon Suraworachet and Jennifer Seon and Mutlu Cukurova},
journal= {arXiv preprint arXiv:2401.01692},
year = {2024}
}
备注
13 pages, 1 figure