词频分布中指数对文本长度的依赖性与有限尺寸标度
数据分析、统计与概率
2018-04-12 v1 物理与社会
摘要
一些作者近来主张,词频分布对文本长度依赖的有限尺寸标度律在概念上不成立。在此我们给出该标度律成立的可靠定量证据,既使用严谨的统计检验,也使用基于广义中心极限定理应用于分布矩的解析论证(并作为副产物获得了 Heaps 律的新推导)。我们还发现,具有随文本长度递减的幂律指数[Yan and Minnhagen, Physica A 444, 828 (2016)]的词频分布图景在严谨统计分析下站不住脚。相反,我们表明这些分布完全由具有稳定指数的幂律尾部描述,其值接近 2,与经典的 Zipf 律一致。一些关于标度的误解也得到了澄清。
引用
@article{arxiv.1804.03718,
title = {Dependence of exponents on text length versus finite-size scaling for word-frequency distributions},
author = {Alvaro Corral and Francesc Font-Clos},
journal= {arXiv preprint arXiv:1804.03718},
year = {2018}
}
备注
Sort of comment to Yan and Minnhagen, Physica A 444, 828 (2016)