大型语言模型是否真的以人类语言发言？

大型语言模型(LLM)最近涌现，因其能够生成高度自然、类似人类的文本而引起广泛关注。本研究在假设检验框架下，比较LLM生成文本与人类撰写文本中潜在社区结构的差异。具体而言，我们分析三个文本集合：原始人类撰写文本($\mathcal{O}$)、其LLM改写版本($\mathcal{G}$)以及由$\mathcal{G}$二次改写得到的再改写集($\mathcal{S}$)。我们的分析回答了两个关键问题：(1)$\mathcal{O}$与$\mathcal{G}$之间潜在社区结构的差异是否相同于$\mathcal{G}$与$\mathcal{S}$之间？(2)随着控制LLM文本变异性的可调参数变化，$\mathcal{G}$是否会变得更接近$\mathcal{O}$？第一个问题基于以下假设：如果LLM生成的文本真正类似于人类语言，那么对($mathcal{O}$, $\mathcal{G}$)的差异应与对($mathcal{G}$, $\mathcal{S}$)的差异相同，因为这两个配对都包含原始文本及其改写文本。第二个问题考察了LLM生成文本与人类文本相似度随文本生成广度变化的情况。为回答这些问题，我们提出了一种统计假设检验框架，利用每个文本在所有数据集中都有对应部分这一改写关系这一事实。这种关系使得可以将一个数据集的相对位置映射到另一个数据集，从而将两个数据集映射到第三个数据集。结果表明，GPT生成的文本与人类撰写文本仍然存在显著差异。