$\rho$-VAE：VAE 编码器的自回归参数化
机器学习
2019-09-16 v1 计算机视觉与模式识别
机器学习
摘要
我们对 VAE 模型做了极小却非常有效的改动。即用（依赖于样本的）近似后验的即插即用替代项，将其由标准对角协方差白高斯分布改为一阶自回归高斯分布。我们认为，对于图像等自然信号，这是更合理的选择，因为它不会迫使数据中已有的相关性在后验中消失。此外，它赋予近似后验更多自由以匹配真实后验。这使得重参数化技巧以及 KL 散度项仍具有闭式表达，无需基于样本的估计。尽管提供了更多适应相关分布的自由，我们的参数化甚至比对角协方差具有更少的参数数量，因为它仅需两个标量 和 分别刻画相关与缩放。如实验所验证，我们的方案以即插即用方式、无需进一步调参且在所有设定下显著且稳定地提升了图像生成质量。复现实验的代码见 \url{https://github.com/sssohrab/rho_VAE/}。
引用
@article{arxiv.1909.06236,
title = {$\rho$-VAE: Autoregressive parametrization of the VAE encoder},
author = {Sohrab Ferdowsi and Maurits Diephuis and Shideh Rezaeifar and Slava Voloshynovskiy},
journal= {arXiv preprint arXiv:1909.06236},
year = {2019}
}
备注
Submitted to NeurIPS workshop on Bayesian deep learning