词汇长程有序中的复杂性与普适性

正如许多复杂系统产生的信号一样，语言呈现出一种介于有序与无序之间的统计结构。在此，我们回顾并扩展了关于语言序列有序度定量表征的最新结果，这些结果揭示了语言的两个相关方面：词序中统计普适性的存在，以及语义信息与语言统计结构之间的联系。我们首先分析了一种相对熵度量，该度量评估词序对语言整体统计结构的贡献程度。该度量在多个语系中呈现出接近 3.5 bits/word 的几乎恒定值。随后，我们展示了信息理论的直接应用可导出一种熵度量，该度量能够量化并从语言样本中提取语义结构，即使无需预先了解底层语言。