大型语言模型如何改变 MOOC 论文答案：前后 LLM 响应的比较

2022 年末 ChatGPT 的发布引发了学术和教育界的热潮和关切。一些人认为，该工具能够生成在事实准确性方面“足够好”的人类化文本，是信息检索和计算机辅助学习的黄金时代。另一些人则担忧该工具可能导致前所未有的学术不端和作弊。在本研究中，我们通过分析来自人工智能伦理免费大学级 MOOC 中学生论文响应的多年数据集来量化大型语言模型 (LLM) 出现对在线教育产生的某些效应。我们的数据集包括 ChatGPT 发布前后提交的论文。我们发现，ChatGPT 的发布与学生论文长度和风格发生显著变化相关，这反映了在其他语境（如学术出版）中所观察到的类似现象。我们还观察到——基于相关公开话语的预期——关于 AI 和 LLM 的关键内容词的出现率发生了变化，但并非学生论文中讨论的一般主题或主题。我们通过（动态）主题建模得出这些主题。