书面英语中字母的可预测性
物理与社会
2017-04-24 v2 计算与语言
机器学习
摘要
我们表明，书面英语文本中字母的可预测性强烈依赖于其在单词中的位置。首字母通常最难预测。这与直观概念一致，即单词是书面语言中定义明确的子单元，这些单元之间的相关性远弱于单元内部的相关性。这意味着，单词深处字母的平均熵大约比首字母的熵小 4 倍。
引用
@article{arxiv.0710.4516,
title = {The predictability of letters in written english},
author = {Thomas Schürmann and Peter Grassberger},
journal= {arXiv preprint arXiv:0710.4516},
year = {2017}
}
备注
3 pages, 4 figures