超越 vanilla 变分自编码器：在条件与分层变分自编码器中检测后验坍缩
机器学习
2024-05-14 v3 机器学习
摘要
变分自编码器(VAE)中的后验坍缩现象，即变分后验分布与先验分布高度吻合，会损害所学潜变量的质量。作为后验坍缩的后果，VAE中编码器提取的潜变量从输入数据保留的信息较少，从而无法作为解码器重构过程的有意义表征。尽管该现象已是VAE性能相关的活跃研究课题，但后验坍缩的理论仍不成熟，尤其在标准VAE之外。本文将对后验坍缩的理论理解推进到两类重要且普遍却较少被研究的VAE：条件VAE与分层VAE。具体而言，通过对线性条件VAE与具两级潜变量的分层VAE进行非平凡的理论分析，我们证明了这些模型中后验坍缩的成因包括条件VAE输入与输出的相关性，以及分层VAE中可学习编码器方差的作用。我们通过实验验证了关于线性条件与分层VAE的理论发现，并以大量实验表明这些结果对非线性情形同样具有预测性。
引用
@article{arxiv.2306.05023,
title = {Beyond Vanilla Variational Autoencoders: Detecting Posterior Collapse in Conditional and Hierarchical Variational Autoencoders},
author = {Hien Dang and Tho Tran and Tan Nguyen and Nhat Ho},
journal= {arXiv preprint arXiv:2306.05023},
year = {2024}
}
备注
Accepted (Poster) at the Twelfth International Conference on Learning Representations