齐夫定律适用于短语而非单词
计算与语言
2015-03-05 v2 物理与社会
摘要
齐夫定律最初且最著名的是针对词频观察到的，但其在人类语言中的适用性令人惊讶地有限，在达到明显的标度断裂之前，仅覆盖不超过三到四个数量级。在此，基于一个简单观察，即由一个或多个单词组成的短语是语言中最连贯的意义单元，我们通过实证表明，短语的齐夫定律扩展至多达九个秩数量级。在此过程中，我们开发了一种原则性强且可扩展的统计力学方法，用于随机文本划分，这通过对混合长度短语进行秩排序，开辟了严格的文本分析的丰富前沿。
引用
@article{arxiv.1406.5181,
title = {Zipf's law holds for phrases, not words},
author = {Jake Ryland Williams and Paul R. Lessard and Suma Desu and Eric Clark and James P. Bagrow and Christopher M. Danforth and Peter Sheridan Dodds},
journal= {arXiv preprint arXiv:1406.5181},
year = {2015}
}
备注
Manuscript: 6 pages, 3 figures; Supplementary Information: 8 pages, 18 tables