三变量间统计依赖的信息论分析：面向书面语言的应用
计算与语言
2015-09-02 v1 数据分析、统计与概率
物理与社会
摘要
我们发展了研究三变量间统计依赖所需的信息论概念。此类依赖中的一部分是纯三重交互（pure triple interactions），即它们无法用成对相关的组合来解释。我们推导了三重依赖的边界，并刻画了具有高三重交互的三个二元变量的联合概率分布的形状。该分析还使我们能够量化变量对之间互信息中的冗余，并评估两个变量之间的信息是否由第三个变量中介。这些概念被应用于书面文本的分析。我们发现，给定词在文本中特定位置出现的概率不仅受其他邻近词出现与否的调制，也受邻近词对出现与否的调制。我们识别出了包含文本关键语义概念的词语、具有高成对与三重交互的词三元组，以及中介其他词之间成对交互的词。
引用
@article{arxiv.1508.03530,
title = {Information-theoretical analysis of the statistical dependencies among three variables: Applications to written language},
author = {Damián G. Hernández and Damián H. Zanette and Inés Samengo},
journal= {arXiv preprint arXiv:1508.03530},
year = {2015}
}