汉字的秩频关系
计算与语言
2014-03-10 v2 数据分析、统计与概率
摘要
我们表明，对于足够短的文本（几千个不同字符），汉字的齐夫定律（Zipf's law）完美成立。其有效性情景类似于短英文文本中单词的齐夫定律。对于长中文文本（或短中文文本的混合），汉字的秩频关系呈现出双层层级结构，结合了高频字符的齐夫幂律机制（第一层）和低频字符的类指数机制（第二层）。针对这两层，我们提供了不同但相关的理论描述，其中包括低频字符（hapax legomena）的范围。汉字与英文单词秩频关系的比较分析，阐明了汉字对于中文作者的作用在多大程度上等同于字母体系中的单词对于作者的作用。
引用
@article{arxiv.1309.1536,
title = {Rank-frequency relation for Chinese characters},
author = {W. B. Deng and A. E. Allahverdyan and B. Li and Q. A. Wang},
journal= {arXiv preprint arXiv:1309.1536},
year = {2014}
}
备注
To appear in European Physical Journal B (EPJ B), 2014 (22 pages, 7 figures)