论格与信息测度的对偶性

变量间的依赖性测度以及信息内容和共享信息的测度已成为多变量数据分析的宝贵工具。信息测度（如边缘熵、互信息和多信息）相较于更标准的统计方法具有许多显著优势，例如对采样限制的敏感性低于概率密度的统计估计。这些测度在复杂性理论和统计力学中也有有趣的应用。因此，它们的数学性质和关系在多个层面上都令人感兴趣。在常见信息测度之间有趣的关系中，或许没有比基于 Möbius 反演的对偶关系更引人入胜和优雅的了。这些反演直接与描述这些变量集及其多变量测度的格（偏序集）相关。在本文中，我们将 Bell 先前注意到的对偶性扩展到一系列测度，并展示了格的结构如何决定这些函数的基本关系。我们的主要结果是一组相互关联的对偶关系，涉及边缘熵、交互信息和条件交互信息。这些结果的含义包括基于信息的测度的一系列灵活替代公式，以及从格上的路径无关和产生的一组新的求和规则。我们的动机是推动这套思想和关系的基本整合，并明确展示所有这些测度如何通过格的性质相互关联。这些思想可用于构建复杂性理论、描述大规模随机过程和系统，以及设计用于多变量数据分析的计算算法和近似方法。