Dirichlet 变分自编码器
机器学习
2019-01-10 v1 机器学习
摘要
本文提出 Dirichlet 变分自编码器（DirVAE），其使用 Dirichlet 先验作为展现类别概率特征的连续潜变量。为推断 DirVAE 的参数，我们通过用逆 Gamma CDF 近似（该近似为 Dirichlet 分布的组成部分 Gamma 分布之近似）来利用随机梯度方法。此外，我们通过考察两个问题来源（即解码器权重坍缩与潜值坍缩）来重塑分量坍缩问题，并表明 DirVAE 无分量坍缩；而 Gaussian VAE 表现出解码器权重坍缩，Stick-Breaking VAE 表现出潜值坍缩。实验结果表明：1）与基线相比，DirVAE 以最佳对数似然对潜表示结果建模；2）DirVAE 产生更具可解释性且无坍缩问题的潜值，而基线模型受此困扰。同时，我们表明在 MNIST、OMNIGLOT 与 SVHN 上的半监督与有监督分类任务中，从 DirVAE 学到的潜表示取得了优于基线 VAE 的分类准确率。最后，我们证明了 DirVAE 增强的主题模型在多数情况下表现更优。
引用
@article{arxiv.1901.02739,
title = {Dirichlet Variational Autoencoder},
author = {Weonyoung Joo and Wonsung Lee and Sungrae Park and Il-Chul Moon},
journal= {arXiv preprint arXiv:1901.02739},
year = {2019}
}