人类言语中的标度律、新词涌现的递减及广义模型
计算与语言
2015-01-08 v2 数据分析、统计与概率
摘要
人类语言作为一种典型的复杂系统，其组织和演化是物理和文化研究者关注的诱人课题。在本文中，我们首次对人类言语的文本组织进行了详尽分析。两个重要结果是：(i) 口语的构建和组织可以表征为 Zipf 定律和 Heaps 定律，正如在书面文本中观察到的那样；(ii) 词频与排名的分布以及不同词汇随文本长度增加的增长，在书籍和言语之间显示出显著差异。在言语中，词频分布更集中于高频词，且随着内容长度的增长，新词的涌现速度下降得更快。基于这些观察，我们提出了一种新的广义模型来解释这些复杂的动力学行为以及言语与书籍之间的差异。
引用
@article{arxiv.1412.4846,
title = {Scaling laws in human speech, decreasing emergence of new words and a generalized model},
author = {Ruokuang Lin and Qianli D. Y. Ma and Chunhua Bian},
journal= {arXiv preprint arXiv:1412.4846},
year = {2015}
}