英文句子中信息内容的分布
计算与语言
2016-09-27 v1
摘要
句子是基本的语言单位，然而，关于信息内容在句子不同位置的分布规律知之甚少。基于真实的英语语言数据，本研究计算了不同句子位置的熵及其他与熵相关的统计量。统计结果表明了一种三阶梯状的分布模式：初始位置的熵低于中间位置（除初始和最终位置外的位置），中间位置的熵低于最终位置，且各中间位置之间无显著差异。结果表明：(1) 恒定熵率假设和均匀信息密度假设不适用于句中位置；(2) 句子中某个词的上下文不应简单地定义为同一句子中位于其前的所有词；(3) 句子中的上下文信息内容并非增量累积，而是遵循“整体大于部分之和”的模式。
引用
@article{arxiv.1609.07681,
title = {The distribution of information content in English sentences},
author = {Shuiyuan Yu and Jin Cong and Junying Liang and Haitao Liu},
journal= {arXiv preprint arXiv:1609.07681},
year = {2016}
}