VAE-KRnet 及其在变分 Bayes 中的应用
机器学习
2021-12-14 v2 机器学习
摘要
在这项工作中，我们提出了一种称为 VAE-KRnet 的生成模型，用于密度估计或逼近，它将标准变分自编码器 (VAE) 与我们近期开发的基于流的生成模型 KRnet 相结合。VAE 用作捕获潜空间的降维技术，KRnet 用于对潜变量的分布建模。利用数据与潜变量之间的线性模型，我们表明 VAE-KRnet 比标准 VAE 更有效且更鲁棒。VAE-KRnet 可用作密度模型来逼近数据分布或仅知至一个常数的任意概率密度函数 (PDF)。VAE-KRnet 在维数方面具有灵活性。当维数相对较小时，KRnet 可基于原始随机变量有效地逼近分布。对于高维情形，我们可以使用 VAE-KRnet 以纳入降维。VAE-KRnet 的一个重要应用是用于后验分布逼近的变分 Bayes。变分 Bayes 方法通常基于最小化模型与后验之间的 Kullback-Leibler (KL) 散度。对于高维分布，由于维数灾难，构建准确的密度模型非常具有挑战性，为此常引入额外假设以提高效率。例如，经典的 mean-field 方法假设各维之间相互独立的，常因过度简化而产生低估的方差。为缓解此问题，我们在损失中加入了潜随机变量与原始随机变量之间互信息最大化的项，这有助于保留来自低密度区域的更多信息，从而改进方差的估计。
引用
@article{arxiv.2006.16431,
title = {VAE-KRnet and its applications to variational Bayes},
author = {Xiaoliang Wan and Shuangqing Wei},
journal= {arXiv preprint arXiv:2006.16431},
year = {2021}
}