英语文本中齐普夫定律的大规模分析
应用统计
2016-02-17 v1 物理与社会
摘要
尽管齐普夫定律是定量语言学的范式，但关于词语的齐普夫定律存在三个主要问题：其表述模棱两可，其有效性未曾从统计角度得到严格检验，且未曾与足够多具有代表性的文本进行比对。因此，我们可以将目前文本中齐普夫定律的支持情况概括为轶事性的。我们试图通过研究齐普夫定律的三种不同版本，并将其拟合到古腾堡计划数据库中所有可用的英语文本（包含超过 30000 个文本）来解决这些问题。为此，我们使用最先进的拟合与拟合优度检验工具，并针对文本统计的特殊性进行了精心调整。值得注意的是，齐普夫定律的三种版本之一，即词频的互补累积分布函数中的纯幂律形式，能够拟合数据库中超过 40% 的文本（在 0.05 显著性水平下），覆盖整个频率范围（从 1 到最大值），且仅有一个自由参数（指数）。
引用
@article{arxiv.1509.04486,
title = {Large-scale analysis of Zipf's law in English texts},
author = {Isabel Moreno-Sánchez and Francesc Font-Clos and Álvaro Corral},
journal= {arXiv preprint arXiv:1509.04486},
year = {2016}
}