在 Fisher-Shannon 平面中理解 VAE
机器学习
2018-09-27 v2 机器学习
摘要
在信息论中，Fisher 信息与 Shannon 信息（熵）分别用于量化与分布建模相关的不确定性，以及指定给定变量结果时的不确定性。这两个量互补，且在大多数情况下联合应用于信息行为分析。信息中的不确定性性质表明了 Fisher 信息与 Shannon 信息之间的基本权衡，这启发我们理解变分自编码器（VAEs）中编码器与解码器的关系。本文中，我们在 Fisher-Shannon 平面中研究 VAE，并论证表示学习与对数似然估计本质上与这两个信息量相关。通过广泛的定性与定量实验，我们从 Fisher 信息与 Shannon 信息的视角对 VAE 在高分辨率重建和表示学习等任务中提供了更好的理解。我们进一步提出了一种 VAE 的变体，称为 Fisher 自编码器（FAE），以满足实际应用中平衡 Fisher 信息与 Shannon 信息的需要。我们的实验结果已证明其在提高重建精度以及避免先前工作中出现的非信息潜在编码方面的潜力。
引用
@article{arxiv.1807.03723,
title = {Understanding VAEs in Fisher-Shannon Plane},
author = {Huangjie Zheng and Jiangchao Yao and Ya Zhang and Ivor W. Tsang and Jia Wang},
journal= {arXiv preprint arXiv:1807.03723},
year = {2018}
}