不同词长的频率：分布与符号熵
计算与语言
2012-07-17 v2 数据分析、统计与概率
摘要
将采用两种方法分析语言词汇中按长度分类的不同单词的频率计数分布。第一种方法将考察多种语言的实证分布，并推导出一个能合理解释不同单词数量作为长度函数的分布。我们将能够基于字母和空格的边缘概率推导出频率计数、平均词长和词长方差。第二种方法基于信息论，将证明条件熵也可用于估计语言中给定长度的不同单词的频率。此外，还将展示如何应用这些技术利用词汇词长来估计高阶熵。
引用
@article{arxiv.1207.2334,
title = {Distinct word length frequencies: distributions and symbol entropies},
author = {Reginald D. Smith},
journal= {arXiv preprint arXiv:1207.2334},
year = {2012}
}
备注
16 pages, 4 figures