利用上下文抑制分层变分自编码器中的后验坍缩
机器学习
2023-09-29 v2 计算机视觉与模式识别
摘要
分层变分自编码器（VAE）是最受欢迎的基于似然的生成模型之一。学界普遍认为自顶向下分层 VAE 能够有效学习深层潜变量结构并避免后验坍缩等问题。本文指出事实未必如此，后验坍缩问题依然存在。为抑制该问题，我们提出一种在顶层引入上下文的深度分层 VAE。具体而言，我们利用离散余弦变换（Discrete Cosine Transform）获取最后一个潜变量。在一系列实验中，我们观察到所提出的改进使我们能够更好地利用潜空间，且不会损害模型的生成能力。
引用
@article{arxiv.2302.09976,
title = {Discouraging posterior collapse in hierarchical Variational Autoencoders using context},
author = {Anna Kuzina and Jakub M. Tomczak},
journal= {arXiv preprint arXiv:2302.09976},
year = {2023}
}
备注
Code: https://github.com/AKuzina/dct_vae