大语言模型与生成式AI在教育研究中的效用
人机交互
2023-05-30 v1
摘要
在工程教育中,自然语言处理(NLP)技术的使用可为生成文本背后的潜在过程提供有价值的见解。虽然若手动进行,获取这些见解可能耗费大量人力,但NLP与大语言模型的最新进展已使其对个人而言成为现实可行的选择。本研究探索并评估了聚类、摘要和提示技术的组合,用于分析超过1000篇学生论述文,其中学生讨论了其职业兴趣。该特定作业提示学生定义并解释其作为工程师的职业目标。利用学生回答的文本嵌入表示,我们将回答聚类在一起以识别学生中主题相似的陈述。随后对聚类后的回答进行摘要,以快速识别职业兴趣主题。我们还使用了一组关于职业满意度和行业的先验编码,以展示使用这些生成式文本模型分析学生写作的另一种方法。本研究的结果证明了NLP技术在工程教育研究中的可行性与有用性。通过自动化学生论述文的初始分析,研究人员和教育工作者可以更高效、准确地识别学生写作中的关键主题与模式。本文提出的方法在工程教育和研究目的中具有超出分析学生论述文的更广泛用途。通过向工程教育界解释这些方法,读者可在其自身情境中加以运用。
引用
@article{arxiv.2305.18125,
title = {The Utility of Large Language Models and Generative AI for Education Research},
author = {Andrew Katz and Umair Shakir and Ben Chambers},
journal= {arXiv preprint arXiv:2305.18125},
year = {2023}
}
备注
3 figures, 10 tables