VMI-VAE：面向具有离散与连续先验的 VAE 的变分互信息最大化框架
机器学习
2020-05-29 v1 信息论
math.IT
机器学习
摘要
变分自编码器（VAE）是一种可扩展的学习复杂数据潜变量模型的方法。它采用可轻松优化的清晰目标。然而，它并未显式度量所学表征的质量。我们提出一种面向 VAE 的变分互信息最大化框架以解决此问题。该框架提供最大化潜变量编码与观测间互信息的目标。该目标充当正则化器，迫使 VAE 不忽略潜变量编码，并允许选择其中特定分量相对于观测最具信息性。此外，所提框架提供了一种针对固定 VAE 模型评估潜变量编码与观测间互信息的方法。
引用
@article{arxiv.2005.13953,
title = {VMI-VAE: Variational Mutual Information Maximization Framework for VAE With Discrete and Continuous Priors},
author = {Andriy Serdega and Dae-Shik Kim},
journal= {arXiv preprint arXiv:2005.13953},
year = {2020}
}