中文

AI,帮我写一篇文章:人类撰写与 ChatGPT 生成议论文的大规模对比

计算与语言 2023-04-28 v1 机器学习

摘要

背景:近来,ChatGPT 及类似的生成式 AI 模型已吸引数亿用户,并成为公共话语的一部分。许多人认为此类模型将颠覆社会,并导致未来教育体系与信息生成方式的重大改变。迄今为止,这一信念要么基于口头证据,要么基于模型所有者的基准测试——二者均缺乏科学严谨性。目的:通过一项对比人类撰写与 ChatGPT 生成的议论文的大规模研究,我们系统性地评估 AI 生成内容的质量。方法:由大量人类专家(教师)使用标准准则对大规模文章语料进行评分。我们辅以对生成文章语言特征的分析。结果:我们的结果表明,ChatGPT 生成的文章在质量评分上高于人类撰写的文章。AI 模型的写作风格展现出不同于人类撰写文章的语言特征,例如,其特征是更少的语篇标记与认知标记,但更多的名词化与更大的词汇多样性。结论:我们的结果清晰地表明,诸如 ChatGPT 的模型在生成议论文方面优于人类。由于该技术任何人皆可轻易使用,教育者必须立即行动。我们必须重新设计家庭作业,并开发教学理念,以如同数学利用计算器般利用这些 AI 模型:先教授通用概念,再使用 AI 工具释放时间用于其他学习目标。

关键词

引用

@article{arxiv.2304.14276,
  title  = {AI, write an essay for me: A large-scale comparison of human-written versus ChatGPT-generated essays},
  author = {Steffen Herbold and Annette Hautli-Janisz and Ute Heuer and Zlata Kikteva and Alexander Trautsch},
  journal= {arXiv preprint arXiv:2304.14276},
  year   = {2023}
}

备注

Submitted