在变分自编码器中通过最大化互信息学习表示
机器学习
2020-01-10 v2 计算机视觉与模式识别
机器学习
摘要
变分自编码器（VAEs）开创了针对复杂分布的无监督学习方法的新时代。尽管这些技术在方法上很优雅，但它们通常对表示学习并无助益。在本工作中，我们提出一类简单而强大的 VAE，可同时得到有意义的所学表示。我们的解决方案是将传统 VAE 与互信息最大化相结合，旨在利用信息论技术增强 VAE 中的摊销推断。我们称此方法为 InfoMax-VAE，该方法能显著提升所学高层表示的质量。我们通过显式最大化与表示相关的信息度量来实现这一点。通过在多种数据集和设置上的大量实验，我们表明 InfoMax-VAE 优于包括 Info-VAE 和 -VAE 在内的当代流行方法。
引用
@article{arxiv.1912.13361,
title = {Learning Representations by Maximizing Mutual Information in Variational Autoencoders},
author = {Ali Lotfi Rezaabad and Sriram Vishwanath},
journal= {arXiv preprint arXiv:1912.13361},
year = {2020}
}