变分自编码器观测空间中的结构化不确定性
机器学习
2022-11-02 v2 计算机视觉与模式识别
摘要
变分自编码器（VAEs）是一类流行的深度生成模型，具有许多变体和广泛应用。对标准VAE的改进主要集中于潜空间后验分布的建模以及神经网络解码器的性质。相比之下，改进观测分布的模型很少被考虑，通常默认为逐像素独立的类别分布或正态分布。在图像合成中，从此类分布中采样会产生空间上不连贯的结果和无关像素噪声，导致只有样本均值作为输出预测有一定用处。在本文中，我们旨在通过改进观测分布的样本来忠实于VAE理论。我们提出SOS-VAE，一种用于观测空间的替代模型，通过低秩参数化编码空间依赖关系。我们证明这种新的观测分布能够捕获像素间的相关协方差，从而产生空间连贯的样本。与逐像素独立分布相比，我们的样本似乎包含相对于均值的语义上有意义的变异，允许单次前向传播预测多个合理输出。
引用
@article{arxiv.2205.12533,
title = {Structured Uncertainty in the Observation Space of Variational Autoencoders},
author = {James Langley and Miguel Monteiro and Charles Jones and Nick Pawlowski and Ben Glocker},
journal= {arXiv preprint arXiv:2205.12533},
year = {2022}
}
备注
Published in Transactions on Machine Learning Research (10/2022). Code available on https://github.com/biomedia-mira/sos-vae