Gacs-Korner 公共信息变分自编码器
机器学习
2023-11-07 v2 计算机视觉与模式识别
信息论
math.IT
摘要
我们提出一种公共信息的概念，用以量化并分离两个随机变量之间共享的信息与各自独有的信息。我们的公共信息概念通过一族函数上的优化问题定义，并将 Gács-Körner 公共信息作为特例恢复。重要的是，我们的概念可利用来自底层数据分布的样本进行经验近似。随后，我们提供一种方法，通过对传统变分自编码器（variational auto-encoder）的简单修改来划分并量化公共与独有信息。在经验上，我们证明即使在图像与视频等高维数据上，我们的公式也能让我们学习到语义上有意义的公共与独有变化因子。此外，在已知真实潜在因子的数据集上，我们展示了可以准确量化随机变量间的公共信息。
引用
@article{arxiv.2205.12239,
title = {Gacs-Korner Common Information Variational Autoencoder},
author = {Michael Kleinman and Alessandro Achille and Stefano Soatto and Jonathan Kao},
journal= {arXiv preprint arXiv:2205.12239},
year = {2023}
}
备注
Accepted to NeurIPS 2023