扩散变分自编码器
机器学习
2022-04-07 v2 机器学习
摘要
标准的变分自编码器采用欧几里得潜空间，在结构上也无力刻画某些数据集的拓扑性质。为消除拓扑障碍，我们引入以任意流形为潜空间的扩散变分自编码器。扩散变分自编码器利用流形上布朗运动的转移核，特别地，借助布朗运动的性质实现重参数化技巧以及对 KL 散度的快速近似。我们展示了扩散变分自编码器能够捕捉合成数据集的拓扑性质。此外，我们在球面、环面、射影空间、SO(3) 以及嵌入 R3 的环面上训练了 MNIST。尽管像 MNIST 这样的自然数据集并不具有界限分明的拓扑结构潜变量，在流形上训练仍可以凸显其拓扑与几何性质。
引用
@article{arxiv.1901.08991,
title = {Diffusion Variational Autoencoders},
author = {Luis A. Pérez Rey and Vlado Menkovski and Jacobus W. Portegies},
journal= {arXiv preprint arXiv:1901.08991},
year = {2022}
}
备注
10 pages, 8 figures Added an appendix with derivation of asymptotic expansion of KL divergence for heat kernel on arbitrary Riemannian manifolds, and an appendix with new experiments on binarized MNIST. Added a previously missing factor in the asymptotic expansion of the heat kernel and corrected a coefficient in asymptotic expansion KL divergence; further minor edits