基于随机游走采样的变分扩散自编码器
机器学习
2020-08-28 v4 机器学习
摘要
变分自编码器（VAEs）与生成对抗网络（GANs）与流形学习有着直观的联系：在训练过程中，解码器/生成器被优化以近似数据分布与采样空间之间的同胚。这是一种力求定义数据流形的构造。然而，VAEs 和 GANs 的一个主要障碍是选择匹配数据拓扑的合适先验。选取不当的先验所带来的众所周知后果是后验坍缩与模式坍缩。据我们所知，现有方法均无法回避这一用户选择。相反，扩散映射（diffusion maps）自动推断数据拓扑，并与流形学习有着严谨的联系，但其不易扩展，也不提供逆同胚（即解码器/生成器）。我们提出一种方法，将这些方法结合为一个生成模型，该模型既继承了扩散映射的渐近保证，又保持了深度模型的可扩展性。我们给出了所提方法维度依赖性的逼近理论结果。最后，我们在多个真实与合成数据集上展示了方法的有效性。
引用
@article{arxiv.1905.12724,
title = {Variational Diffusion Autoencoders with Random Walk Sampling},
author = {Henry Li and Ofir Lindenbaum and Xiuyuan Cheng and Alexander Cloninger},
journal= {arXiv preprint arXiv:1905.12724},
year = {2020}
}
备注
24 pages, 9 figures, 1 table; accepted to ECCV 2020