解纠缠变分自编码器中的解纠缠
机器学习
2019-06-13 v3 机器学习
摘要
我们发展了 VAE 中解纠缠的一种推广——潜表示的分解——将其刻画为两个因素的满足：a) 数据的潜编码具有适当的重叠水平，以及 b) 数据的聚合编码符合所期望的结构，该结构通过先验表示。分解允许解纠缠（即潜变量间显式独立）作为特例，但也允许在所学表示上施加远为丰富的性质类别，例如稀疏性、聚类、独立子空间，甚至复杂的层次依赖关系。我们表明，-VAE 与标准 VAE 的不同主要在于其对潜重叠的控制，并且对于各向同性高斯先验的标准选择，其目标对潜表示的旋转是不变的。从分解视角看，用对先验的简单操控打破此不变性，可带来更好的解纠缠，且对重建鲜有或毫无损害。我们进一步展示其他先验选择如何有助于产生不同分解，并引入一种替代训练目标，以有原则的方式控制两个分解因素。
引用
@article{arxiv.1812.02833,
title = {Disentangling Disentanglement in Variational Autoencoders},
author = {Emile Mathieu and Tom Rainforth and N. Siddharth and Yee Whye Teh},
journal= {arXiv preprint arXiv:1812.02833},
year = {2019}
}
备注
Accepted for publication at ICML 2019