超越齐普夫定律：人类语言结构的建模

人类语言，作为历史上最强大的通信系统，与认知密切相关。书面文本是语言的基本表现形式之一，对其普遍规律的研究可以揭示我们的大脑如何处理信息，以及我们作为社会如何组织和共享信息。然而，只有像齐普夫定律这样的经典模式得到了深入探索。相比之下，其他基本属性，如稀有词在特定文档中的爆发性出现、文档集合的主题组织，或词汇量随文档长度的次线性增长，都只是被逐一研究，并且主要应用启发式方法，而非基本原理和通用机制。因此，人们对作为复杂涌现现象的语言过程缺乏理解。超越词频的齐普夫定律，本文重点关注希普斯定律、爆发性以及文档集合的主题性，这些属性编码了随机零模型中不存在的文档内部和文档间的相关性。我们引入并验证了一个生成模型，该模型从简单规则出发解释了所有这些模式的同时涌现。结果，我们发现了稀有词的爆发性质与文本主题组织之间的联系，并确定了动态词排序和跨文档记忆是解释书面文本非平凡组织的关键机制。我们的研究可能在计算机科学、认知科学和语言学领域具有广泛的影响和实际应用。