向量量化自编码器上的变分信息瓶颈
机器学习
2018-08-06 v1 机器学习
摘要
在本文中，我们提供了向量量化变分自编码器（VQ-VAE）的信息论解释。我们表明，原始VQ-VAE的损失函数可以从变分确定性信息瓶颈（VDIB）原理推导出来。另一方面，通过期望最大化（EM）算法训练的VQ-VAE可以视为变分信息瓶颈（VIB）原理的近似。
引用
@article{arxiv.1808.01048,
title = {Variational Information Bottleneck on Vector Quantized Autoencoders},
author = {Hanwei Wu and Markus Flierl},
journal= {arXiv preprint arXiv:1808.01048},
year = {2018}
}