为什么ChatGPT如此“热衷”使用“delve”？探究大语言模型中词汇过度表征的来源

科学英语目前正在经历快速变化，像“delve”、“intricate”和“underscore”这样的词汇出现的频率比几年前高得多。人们普遍认为科学家使用大语言模型（LLM）是造成这种趋势的原因。我们开发了一种形式化的、可迁移的方法来表征这些语言变化。应用我们的方法得到了21个焦点词，它们在科学摘要中出现的增加很可能是LLM使用的结果。然后我们提出了“词汇过度表征之谜”：为什么LLM会过度使用这些词？我们没有发现证据表明词汇过度表征是由模型架构、算法选择或训练数据引起的。为了评估来自人类反馈的强化学习（RLHF）是否导致了焦点词的过度使用，我们进行了比较模型测试并开展了一项探索性在线研究。虽然模型测试与RLHF发挥作用一致，但我们的实验结果表明，参与者对“delve”的反应可能与其他焦点词不同。随着LLM迅速成为全球语言变化的驱动因素，调查这些词汇过度表征的潜在来源非常重要。我们注意到，虽然深入了解LLM的工作原理是可以实现的，但模型开发缺乏透明度仍然是此类研究的障碍。