利用分层经验贝叶斯推广变分自编码器
机器学习
2020-07-22 v1 机器学习
摘要
变分自编码器（VAEs）近期作为数据生成模型取得了成功，其采用的简单架构无需对超参数进行大量微调。然而，已知 VAEs 存在过正则化问题，可能导致无法逃离局部极大值。这种现象被称为后验坍缩，阻碍了学习到数据有意义的潜在编码。近期的方法通过确定性矩匹配将聚合后验分布与聚合先验相匹配，缓解了此问题。然而，放弃概率框架（从而依赖点估计）既可能导致不连续的潜在空间，也可能生成不真实的样本。在此我们提出分层经验贝叶斯自编码器（HEBAE），一种计算稳定的概率生成模型框架。我们的关键贡献有两点。首先，我们在编码分布上放置分层先验，使我们能够自适应地平衡最小化重构损失函数与避免过正则化之间的权衡。其次，我们表明假设潜在空间中变量之间存在一般依赖结构，能更好地收敛到平均场假设，从而改进后验推断。总体而言，HEBAE 比类似的 VAE 对大范围超参数初始化更为鲁棒。利用来自 MNIST 和 CelebA 的数据，我们展示了 HEBAE 基于 FID 分数生成比现有基于自编码器的方法更高质量样本的能力。
引用
@article{arxiv.2007.10389,
title = {Generalizing Variational Autoencoders with Hierarchical Empirical Bayes},
author = {Wei Cheng and Gregory Darnell and Sohini Ramachandran and Lorin Crawford},
journal= {arXiv preprint arXiv:2007.10389},
year = {2020}
}
备注
13 pages