实体长度—频率中的 Marshall-Olkin 幂律分布

实体承载着具有具体含义的重要概念，并在众多语言任务中发挥着重要作用。实体在不同的语言任务中具有不同形式，研究者将这些不同形式视为不同的概念。在本文中，我们好奇是否存在某些共同特征将这些不同形式的实体联系起来。具体而言，我们考察了来自不同类型与不同语言的实体的底层分布，试图找出这些多样化实体背后的一些共同特征。在分析了关于不同类型实体的十二个数据集以及关于不同语言中实体的十八个数据集后，我们发现，尽管这些实体在许多方面差异巨大，但它们的长度—频率可以由一族 Marshall-Olkin 幂律（MOPL）分布很好地刻画。我们在这些关于不同类型与不同语言实体的三十个数据集上进行了实验，实验结果表明，MOPL 模型对实体长度—频率的刻画远优于两个最先进的（SOTA）幂律模型以及一个备选的对数正态模型。实验结果还表明，MOPL 模型可扩展至大规模真实世界数据集中的实体长度—频率。