自然语言的词熵
计算与语言
2016-06-23 v1
摘要
与词语相关的平均不确定性是处于定量语言学与计算语言学核心的信息论概念。熵已被确立为这种平均不确定性（亦称平均信息内容）的度量标准。我们在此使用 21 种语言的平行文本，确定了词熵收敛至稳定值时的词元数量。这些收敛点随后被用于从大规模平行语料库中选取文本，并估计超过 1000 种语言的词熵。我们的结果有助于建立定量语言比较，理解多语言翻译系统的性能，以及归一化语义相似度度量。
引用
@article{arxiv.1606.06996,
title = {The word entropy of natural languages},
author = {Christian Bentz and Dimitrios Alikaniotis},
journal= {arXiv preprint arXiv:1606.06996},
year = {2016}
}