ChatGPT 与人工导师生成的代数提示之间的学习增益差异
计算机与社会
2023-02-15 v1 计算与语言
人机交互
摘要
大型语言模型（LLM），如 ChatGPT，正迅速将人工智能推向实用消费应用的前沿，并促使各行业重新评估其在内容生产上的资源分配。自适应辅导系统中开放教育资源和提示内容的创作是劳动密集型的。若诸如 ChatGPT 的 LLM 能产出与人工创作内容相当的教育内容，其对计算机辅导系统方法的进一步扩展将意义重大。在本文中，我们通过对 77 名参与者在两个代数主题领域（初等代数与中等代数）中比较 ChatGPT 提示与人工导师创作提示的有效性，进行了首项 ChatGPT 学习增益评估。我们发现 ChatGPT 生成的提示有 70% 通过人工质量检查，且人类与 ChatGPT 条件均产生了正向学习增益。然而，仅人工导师创建的提示带来的增益在统计上显著。在这两个主题领域中，人工创建提示的学习增益均大幅且统计显著地高于 ChatGPT 提示，尽管参与中等代数实验的 ChatGPT 组在预测试中接近天花板且未与对照组持平。我们讨论了本研究的局限性并提出了该领域的若干未来方向。实验中使用的题目与提示内容已提供以保证可复现性。
引用
@article{arxiv.2302.06871,
title = {Learning gain differences between ChatGPT and human tutor generated algebra hints},
author = {Zachary A. Pardos and Shreya Bhandari},
journal= {arXiv preprint arXiv:2302.06871},
year = {2023}
}