中文

具有黎曼布朗运动先验的变分自编码器

机器学习 2020-08-10 v3 机器学习

摘要

变分自编码器(VAEs)将给定数据表示于低维潜空间中,该空间通常被假定为欧几里得的。这一假设自然导致了在连续潜变量上选用标准高斯先验的常见做法。然而,近期工作表明该先验对模型容量有不利影响,导致次优性能。我们提出,欧几里得假设正是此失效模式的核心。为此,我们假定潜空间上具有黎曼结构,这构成了对潜码更具原则性的几何视角,并将标准高斯先验替换为黎曼布朗运动先验。我们提出了一种不依赖于该先验未知归一化因子的高效推断方案。最后,我们证明该先验仅使用一个额外的标量参数便显著提升了模型容量。

关键词

引用

@article{arxiv.2002.05227,
  title  = {Variational Autoencoders with Riemannian Brownian Motion Priors},
  author = {Dimitris Kalatzis and David Eklund and Georgios Arvanitidis and Søren Hauberg},
  journal= {arXiv preprint arXiv:2002.05227},
  year   = {2020}
}

备注

Published in ICML 2020