S$\Omega$I：基于分数的 O-信息估计
机器学习
2024-06-10 v3 信息论
math.IT
摘要
科学数据和复杂多变量系统的分析需要能够捕捉多个随机变量之间关系的信息量。最近，为了克服经典信息论度量（如仅限于考虑成对交互的互信息）的局限性，人们开发了新的信息论度量。其中，信息协同与冗余的概念对于理解变量间的高阶依赖关系至关重要。基于这一概念最突出且通用的度量之一是 O-信息，它提供了一种清晰且可扩展的方法来量化多变量系统中的协同 - 冗余平衡。然而，其实际应用仅限于简化的情况。在本工作中，我们引入了 SI，它首次允许在不关于系统做出限制性假设的情况下计算 O-信息。我们的实验在合成数据上验证了我们的方法，并展示了 SI 在真实世界用例中的有效性。
引用
@article{arxiv.2402.05667,
title = {S$\Omega$I: Score-based O-INFORMATION Estimation},
author = {Mustapha Bounoua and Giulio Franzese and Pietro Michiardi},
journal= {arXiv preprint arXiv:2402.05667},
year = {2024}
}