语言随扩张而冷却：异速缩放与新词需求的减少
物理与社会
2012-12-12 v1 统计力学
计算与语言
应用统计
摘要
我们分析了过去两个世纪出版的数百万册书籍中记录的超过 1500 万个单词在七种不同语言中的出现频率。对于所有语言及数据的年代子集，我们确认词频分布具有两个缩放机制，其中只有更常见的词遵循经典的 Zipf 定律。利用前所未有的语料库规模，我们测试了增长中语言的语料库规模与词汇量之间的异速缩放关系，证明了对新词的边际需求正在减少，这一特征可能与单词之间的潜在相关性有关。我们计算了单词使用的年度增长波动，发现随着语料库规模的增加，该波动呈下降趋势，表明语言扩张后语言演化速度放缓。这种“冷却模式”构成了第三个统计规律的基础，与 Zipf 定律和 Heaps 定律不同，它具有动力学性质。
引用
@article{arxiv.1212.2616,
title = {Languages cool as they expand: Allometric scaling and the decreasing need for new words},
author = {Alexander M. Petersen and Joel N. Tenenbaum and Shlomo Havlin and H. Eugene Stanley and Matjaz Perc},
journal= {arXiv preprint arXiv:1212.2616},
year = {2012}
}
备注
9 two-column pages, 7 figures; accepted for publication in Scientific Reports