用于无监督学习解耦表示的自变量子空间分析
机器学习
2019-09-12 v1 机器学习
摘要
近来，利用 Variational Autoencoder (VAE) 框架无监督学习解耦表示引起了越来越多的关注。现有工作大多主要集中于修改变分代价函数以实现该目标。我们首先表明，这些修改（例如 beta-VAE）简化了变分推断欠拟合的倾向，导致学习到的分量出现病态的过度剪枝与过度正交化。其次我们提出一种互补方法：用结构化的潜先验修改概率模型。该先验能够发现被结构化为独立向量空间层次的潜变量表示。所提出的先验有三大优势：第一，与标准 VAE 正态先验不同，所提先验不是旋转不变的，这解决了标准 VAE 正态先验的不可辨识问题。第二，我们证明所提先验鼓励解耦的潜表示，从而促进解耦表示的学习。第三，大量定量实验表明，相较于最先进水平，该先验显著缓解了重构损失与解耦之间的权衡。
引用
@article{arxiv.1909.05063,
title = {Independent Subspace Analysis for Unsupervised Learning of Disentangled Representations},
author = {Jan Stühmer and Richard E. Turner and Sebastian Nowozin},
journal= {arXiv preprint arXiv:1909.05063},
year = {2019}
}