自然语言中词语情境可预测性与信息率的实验研究
信息论
2007-07-16 v1 math.IT
摘要
基于大规模人类主观实验的数据，我们得出结论：猜测情境下单词的概率的对数（即可预测性）与单词长度呈线性关系。这一结果适用于诗歌和散文，尽管对于散文，受试者不知道被省略单词的长度。我们假设，这一效应反映了自然语言倾向于保持均匀信息率的趋势。
引用
@article{arxiv.cs/0612136,
title = {Experiments on predictability of word in context and information rate in natural language},
author = {Dmitrii Manin},
journal= {arXiv preprint arXiv:cs/0612136},
year = {2007}
}
备注
14 pages, 3 figures