大语言模型正在对科学通信产生什么影响？测量写作实践与阅读体验的变化
计算与语言
2026-05-20 v1
摘要
随着大语言模型在写作过程中日益广泛地使用，科学交流的风格是否发生了变化？我们以自然语言处理领域为切入点，利用我们创建的两个数据资源来回答这一问题：一个来自 ACL Anthology (2020-2024) 的超过 37,000 篇论文的自然语言语料库；以及一个由 3,000 篇人类撰写的段落及其由 LLM 生成的改进版本组成的合成数据集。首先，我们实现了一系列无时间漂移词汇分析，显示出随时间变化的词频和使用语境已显著变化，表明某些情况下存在语义专门化，而另一些情况下则存在泛化。拓宽视角后，我们则对更复杂的风格特征进行建模，发现 LLM 修改后的文本更常包含某些语法结构、更复杂和更长的单词，以及较低的词汇多样性。最后，我们将这些写作实践的变化与主观阅读体验联系起来，通过一项针对 20 位领域专家的 pilot 注释研究。他们总体上将 LLM 改进后的文本评价为更易理解和更激动人心，但也表达了对 LLM 的负面定性态度，突显了 AI 辅助写作对阅读体验的强烈主观影响。
引用
@article{arxiv.2605.19936,
title = {What Are LLMs Doing to Scientific Communication? Measuring Changes in Writing Practices and Reading Experience},
author = {Filip Miletić and Neele Falk},
journal= {arXiv preprint arXiv:2605.19936},
year = {2026}
}
备注
Accepted to LREC 2026