以多样性与不确定性感知正则化变分自编码器
机器学习
2021-10-26 v1
摘要
作为最流行的生成模型之一，变分自编码器（VAE）基于摊销变分推断近似潜变量的后验。然而，当解码器网络具有充分表达能力时，VAE可能导致后验坍缩；即可能学到无信息的潜表示。为此，本文提出一种替代模型 DU-VAE，用于学习更具多样性且不确定性更低的潜空间，从而能够以有意义且紧凑的方式学到表示。具体而言，我们首先从理论上证明，通过相应控制整个数据上后验参数的分布，可得到具有高多样性和低不确定性感知的更好潜空间。接着，在不引入新损失项或修改训练策略的情况下，我们提出同时对方差使用 Dropout 和对均值使用 Batch-Normalization 以隐式正则化其分布。此外，为评估泛化效果，我们还实证地将 DU-VAE 用于基于逆自回归流的 VAE（VAE-IAF）。最后，在三个基准数据集上的大量实验清楚地表明，我们的方法在似然估计和底层分类任务上均优于 SOTA 基线。
引用
@article{arxiv.2110.12381,
title = {Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness},
author = {Dazhong Shen and Chuan Qin and Chao Wang and Hengshu Zhu and Enhong Chen and Hui Xiong},
journal= {arXiv preprint arXiv:2110.12381},
year = {2021}
}