中文

关于希尔伯格定律及其与古拉赞定律的关系

计算与语言 2020-03-11 v1 信息论 math.IT

摘要

希尔伯格(1990)提出,随机人类文本的有限阶熵耗散程度与文本长度的平方根成正比。假设希尔伯格假设成立,我们推导出古拉赞定律,即文本中词类型的数量与文本长度的平方根成正比。我们的推导基于编码理论中的某个数学猜想,以及若干实验表明,单词可大致定义为文本最短上下文无关语法的非终端符号。这种对单词的操作性定义即使适用于无空格的文本,也就是那些不允许曼德尔布莱克曼“间歇性沉默”解释作品的作品。与曼德尔布莱克曼不同,本模型假设人类叙述中存在某种概率性的长记忆效应,可能能够解释门zerath定律。

关键词

引用

@article{arxiv.cs/0507022,
  title  = {On Hilberg's Law and Its Links with Guiraud's Law},
  author = {Łukasz Dȩbowski},
  journal= {arXiv preprint arXiv:cs/0507022},
  year   = {2020}
}

备注

To appear in Journal of Quantitative Linguistics