关于希尔伯格定律及其与古拉赞定律的关系
计算与语言
2020-03-11 v1 信息论
math.IT
摘要
希尔伯格(1990)提出,随机人类文本的有限阶熵耗散程度与文本长度的平方根成正比。假设希尔伯格假设成立,我们推导出古拉赞定律,即文本中词类型的数量与文本长度的平方根成正比。我们的推导基于编码理论中的某个数学猜想,以及若干实验表明,单词可大致定义为文本最短上下文无关语法的非终端符号。这种对单词的操作性定义即使适用于无空格的文本,也就是那些不允许曼德尔布莱克曼“间歇性沉默”解释作品的作品。与曼德尔布莱克曼不同,本模型假设人类叙述中存在某种概率性的长记忆效应,可能能够解释门zerath定律。
引用
@article{arxiv.cs/0507022,
title = {On Hilberg's Law and Its Links with Guiraud's Law},
author = {Łukasz Dȩbowski},
journal= {arXiv preprint arXiv:cs/0507022},
year = {2020}
}
备注
To appear in Journal of Quantitative Linguistics