词频的 Zipf 定律：长文本中的词形与词元
物理与社会
2015-07-14 v2 计算与语言
数据分析、统计与概率
摘要
Zipf 定律是书面和口语自然语言统计学以及其他通信系统中的一个基本范式。我们提出了 Zipf 定律应以最自然方式成立的基本单位问题，研究了其对普通词形和相应词元形式的有效性。为了获得尽可能同质的来源，我们分析了一些有史以来最长的文学文本，涵盖四种具有不同形态复杂度的语言。在所有情况下，Zipf 定律均得到满足，即词或词元频率的幂律分布在几个数量级上有效。我们研究了词 - 词元转换在多大程度上保留了 Zipf 定律的两个参数：指数和低频截断。我们未能证明尾部的严格不变性，因为对于少数文本，两个指数均显著偏离，但我们得出结论，尽管从词到词元的转换影响了所有频率范围且变化显著，但指数非常相似。相比之下，低频截断则较不稳定。
引用
@article{arxiv.1407.8322,
title = {Zipf's law for word frequencies: word forms versus lemmas in long texts},
author = {Alvaro Corral and Gemma Boleda and Ramon Ferrer-i-Cancho},
journal= {arXiv preprint arXiv:1407.8322},
year = {2015}
}