吉瓦尔语料库中的熵与类型-标记比

衡量复杂系统中多样性存在不同的方式。特别是在语言中，词汇多样性以类型-标记比和词熵来表征。我们在这里研究了这两种多样性指标在六个大型语言数据集中的情况，这些数据集包含英文、西班牙文和土耳其文的书籍、新闻文章和推文。这些吉瓦尔语料库对应的语言具有不同的形态特征，且在登记和体裁方面有所不同，从而构成了一种多样化的定量方法测试台。我们揭示了给定语料库和语言文本在熵与类型-标记比之间的经验函数关系，这是自然语言中观察到的统计规律的结果。进一步地，在大文本长度的极限中，我们发现一种解析表达式与我们的经验发现相吻合。