面向具有连续与离散先验的 VAE 隐变量的变分互信息最大化框架
机器学习
2020-06-04 v1 信息论
math.IT
机器学习
摘要
学习可解释且解耦的数据表示是机器学习研究中的一个关键课题。变分自编码器（VAE）是一种用于学习复杂数据的有向隐变量模型的可扩展方法。它采用一个清晰且可解释的、易于优化的目标。然而，该目标并未提供对隐变量表示质量的显式度量，可能导致其质量较差。我们提出变分互信息最大化框架用于 VAE 以解决此问题。与其他方法相比，它提供了一个显式目标，最大化隐变量编码与观测之间的互信息的下界。该目标作为一种正则化器，迫使 VAE 不忽略隐变量，并允许选择其特定分量相对于观测最具信息性。此外，所提框架提供了一种对固定 VAE 模型评估隐变量编码与观测之间互信息的方法。我们在具有高斯以及联合高斯与离散隐变量的 VAE 模型上进行了实验。我们的结果表明，所提方法加强了隐变量编码与观测之间的关系并改进了所学表示。
引用
@article{arxiv.2006.02227,
title = {Variational Mutual Information Maximization Framework for VAE Latent Codes with Continuous and Discrete Priors},
author = {Andriy Serdega and Dae-Shik Kim},
journal= {arXiv preprint arXiv:2006.02227},
year = {2020}
}
备注
arXiv admin note: text overlap with arXiv:2005.13953