基于矩阵的熵泛函度量依赖性
机器学习
2021-01-26 v1 信息论
math.IT
机器学习
摘要
度量数据的依赖性在统计与机器学习中起着核心作用。本文中，我们通过 Shearer 不等式将现有信息论依赖性度量的主要思想总结并概括为更高层次的视角。基于我们的推广，我们提出两种度量，即基于矩阵的归一化总相关（）与基于矩阵的归一化对偶总相关（），以量化任意维空间中多个变量的依赖性，而无需显式估计底层数据分布。我们证明了我们的度量可微且在统计上比流行度量更具功效。我们还展示了我们的度量在四个不同机器学习问题中的影响，即基因调控网络推断、协变量偏移与非高斯噪声下的鲁棒机器学习、子空间离群点检测，以及卷积神经网络（CNN）学习动态的理解，以展示其实用性、优势及对那些问题的启示。我们的依赖性度量代码可在 https://bit.ly/AAAI-dependence 获取。
引用
@article{arxiv.2101.10160,
title = {Measuring Dependence with Matrix-based Entropy Functional},
author = {Shujian Yu and Francesco Alesiani and Xi Yu and Robert Jenssen and Jose C. Principe},
journal= {arXiv preprint arXiv:2101.10160},
year = {2021}
}
备注
Accepted at AAAI-21. An interpretable and differentiable dependence (or independence) measure that can be used to 1) train deep network under covariate shift and non-Gaussian noise; 2) implement a deep deterministic information bottleneck; and 3) understand the dynamics of learning of CNN. Code available at https://bit.ly/AAAI-dependence