广义熵与文本的相似性
物理与社会
2017-02-15 v1 计算与语言
摘要
我们展示了广义 Gibbs-Shannon 熵如何能为文本的统计特性提供新的见解。词频的普适分布（Zipf定律）意味着在词层面上计算的广义熵由特定频率范围内的词主导。这里我们表明，不仅广义熵如此，用于计算不同文本之间相似性的广义（Jensen-Shannon）散度也是如此。这一发现使我们能够识别特定词（及词频）对不同广义熵的贡献，并估计获得散度可靠估计所需的数据库规模。我们在大型书籍数据库（来自 Google n-gram 数据库）和科学论文数据库（由 Web of Science 索引）中测试了我们的结果。
引用
@article{arxiv.1611.03596,
title = {Generalized Entropies and the Similarity of Texts},
author = {Eduardo G. Altmann and Laercio Dias and Martin Gerlach},
journal= {arXiv preprint arXiv:1611.03596},
year = {2017}
}
备注
13 pages, 6 figures; Results presented at the StatPhys-2016 meeting in Lyon