人类与LLM生成新闻文本中的语言模式对比

我们开展了一项定量分析，将人类撰写的英文新闻文本与来自六个不同LLM的可比大型语言模型（LLM）输出进行对比，这些LLM共涵盖三个不同系列与四种规模。我们的分析跨越若干可测量的语言维度，包括形态、句法、心理测量与社会语言学方面。结果揭示了人类与AI生成文本之间的多种可测量差异。人类文本展现出更分散的句长分布、更丰富的词汇多样性、不同的依存与成分类型使用、更短的成分以及更优的依存距离。与LLM生成文本相比，人类倾向于表现出更强的负面情绪（如恐惧与厌恶）且更少的愉悦，而这些模型的毒性随其规模增大而上升。LLM输出比人类文本使用更多数字、符号与助词（暗示客观语言），以及更多代词。人类文本中普遍存在的性别偏见也被LLM表达，且在除一个外的所有模型中甚至被放大。LLM与人类之间的差异大于LLM之间的差异。