切片互信息：一种可扩展的统计依赖性度量
信息论
2021-10-19 v2 math.IT
摘要
互信息（MI）是统计依赖性的基本度量，在信息论、统计学和机器学习中有大量应用。尽管它具有许多理想的结构性质，但从样本估计高维MI受到维数灾难的困扰。受向高维统计可扩展性的推动，本文提出切片互信息（SMI）作为依赖性的替代度量。SMI定义为一维随机投影之间MI项的平均值。我们证明它保留了经典MI的许多结构性质，同时获得可扩展的计算和从样本的高效估计。此外，与经典MI相反，SMI可因确定性变换而增长。这使得能够通过优化原始数据的处理函数来利用SMI进行特征提取，以识别其中有用的表示。我们的理论得到独立性检验和特征提取数值研究的支持，这些研究展示了SMI相对于经典MI在高维推断中提供的潜在收益。
引用
@article{arxiv.2110.05279,
title = {Sliced Mutual Information: A Scalable Measure of Statistical Dependence},
author = {Ziv Goldfeld and Kristjan Greenewald},
journal= {arXiv preprint arXiv:2110.05279},
year = {2021}
}