ChatGPT是否在改变学术界的写作风格?
计算与语言
2024-11-11 v2 人工智能
数字图书馆
机器学习
摘要
基于2018年5月至2024年1月提交的一百万篇arXiv论文,我们通过词频变化的统计分析评估了其摘要中ChatGPT写作风格的文本密度。我们的模型在真实摘要和ChatGPT修改的摘要(模拟数据)的混合上进行了校准和验证,并进行了仔细的噪声分析。用于估计的词汇不是固定的,而是自适应的,包括那些频率下降的词汇。我们发现,以ChatGPT为代表的大型语言模型(LLMs)正在对arXiv摘要产生越来越大的影响,尤其是在计算机科学领域,如果我们以GPT-3.5对简单提示“修改以下句子”的响应为基线,估计LLM风格的摘要比例约为35%。最后,我们分析了LLMs渗透到学术界写作风格的积极和消极方面。
引用
@article{arxiv.2404.08627,
title = {Is ChatGPT Transforming Academics' Writing Style?},
author = {Mingmeng Geng and Roberto Trotta},
journal= {arXiv preprint arXiv:2404.08627},
year = {2024}
}
备注
19 pages