书面英语经典熵的新审视
计算与语言
2009-11-19 v2
摘要
提出了一种根据香农理论，通过直接计算机处理并从第一性原理出发，计算合理长度英语文本样本熵和冗余度的简单方法。作为示例，基于总计2030万个书面英语字符（考虑长度从1到500个字符的符号），获得了英语语言熵的结果。除了给出更符合实际的英语熵值外，还对一些经典熵相关概念提出了新视角。该方法也可推广至其他拉丁语系语言。讨论了其在抄袭检测软件以及社交互联网消息传递中应使用的最少单词数等实际应用中的一些启示。
引用
@article{arxiv.0911.2284,
title = {A New Look at the Classical Entropy of Written English},
author = {Fabio G. Guerrero},
journal= {arXiv preprint arXiv:0911.2284},
year = {2009}
}
备注
Submitted to the IEEE Transactions on Information Theory. Reference on page 5 corrected. Weighted average of HL on page 12 corrected (average redundancy R has therefore been updated). Abstract slightly changed