自编码总相关解释
机器学习
2018-02-19 v1 机器学习
摘要
无监督学习的进展使得从复杂分布中重建和生成样本成为可能，但这一成功因所学表征的不可解释性而蒙上阴影。我们提出了一种信息论方法，利用多元互信息（亦称总相关）来刻画表征学习中的解耦与依赖关系。总相关解释（CorEx）原理已在多种领域的成功无监督学习应用中发挥作用，但存在一些限制性假设。在此我们通过引入一种灵活的 CorEx 变分下界来放宽这些限制。令人惊讶的是，我们发现该下界在特定条件下等价于变分自编码器（VAE）中的下界。这种 VAE 的信息论视角深化了我们对层次化 VAE 的理解，并启发了一种新算法 AnchorVAE，其通过信息最大化使潜码更具可解释性，并能够生成更丰富、更真实的样本。
引用
@article{arxiv.1802.05822,
title = {Auto-Encoding Total Correlation Explanation},
author = {Shuyang Gao and Rob Brekelmans and Greg Ver Steeg and Aram Galstyan},
journal= {arXiv preprint arXiv:1802.05822},
year = {2018}
}