利用 Zhang 估计量快速计算熵
计算与语言
2017-07-27 v1
摘要
熵是 repertoire 的一个基本属性。本文提出一种利用 Zhang 估计量高效估计类型熵的算法。该算法利用了文本中不同频率的数量通常远小于类型数量这一事实。我们通过对 1000 多种语言文本的统计特性分析,论证了该算法的便利性。我们的工作为未来的研究开辟了多种可能性。
引用
@article{arxiv.1707.08290,
title = {Fast calculation of entropy with Zhang's estimator},
author = {Antoni Lozano and Bernardino Casas and Chris Bentz and Ramon Ferrer-i-Cancho},
journal= {arXiv preprint arXiv:1707.08290},
year = {2017}
}