线性潜变量模型的后验坍缩
机器学习
2022-10-17 v2 机器学习
摘要
本工作识别了贝叶斯深度学习实践中频繁发生的一类后验坍缩的存在及其成因。对于一个将线性变分自编码器作为特例的一般线性潜变量模型,我们精确地将后验坍缩的本质归结为由于先验导致的似然与均值正则化之间的竞争。我们的结果表明,后验坍缩可能与神经坍缩和维度坍缩相关,并可能是更深架构学习中一般问题的一个子类。
引用
@article{arxiv.2205.04009,
title = {Posterior Collapse of a Linear Latent Variable Model},
author = {Zihao Wang and Liu Ziyin},
journal= {arXiv preprint arXiv:2205.04009},
year = {2022}
}
备注
NeurIPS 2022; 25 pages, 5 figures, 1 Table