信息势自编码器
机器学习
2017-08-08 v2 信息论
math.IT
机器学习
摘要
在本文中，我们提出了一个框架，利用互信息作为正则化准则来训练自编码器。在所提出的框架中，通过在训练阶段最小化 AEs 输入与编码变量之间的互信息来对 AEs 进行正则化。为了估计编码变量的熵和互信息，我们提出了一种非参数方法。我们还给出了变分自编码器 的信息论视角，这表明 VAEs 可以被视为估计熵的参数化方法。实验结果表明，与使用参数化方法（如变分自编码器）估计熵的方法相比，所提出的非参数模型在表示学习来自复杂分布（如高斯混合分布）的特征方面具有更大的自由度。
引用
@article{arxiv.1706.04635,
title = {Information Potential Auto-Encoders},
author = {Yan Zhang and Mete Ozay and Zhun Sun and Takayuki Okatani},
journal= {arXiv preprint arXiv:1706.04635},
year = {2017}
}
备注
Information Theory