$\pi$VAE：一种用于基于MCMC的贝叶斯深度学习的随机过程先验
机器学习
2022-09-15 v6 机器学习
摘要
随机过程提供了一种数学上优雅的方式来对复杂数据建模。理论上，它们提供了对函数类的灵活先验，可以编码各种有趣的假设。然而在实践中，通过优化或边缘化进行高效推断是困难的，这一问题在大数据和高维输入空间中进一步加剧。我们提出了一种称为先验编码变分自编码器（VAE）的新型变分自编码器（VAE）。VAE具有有限交换性和Kolmogorov一致性，因此是一个连续随机过程。我们使用VAE学习函数类的低维嵌入。我们展示了我们的框架能够准确学习具有表现力的函数类，如高斯过程，也能学习函数的性质以进行统计推断（例如对数高斯过程的积分）。对于空间插值等流行任务，VAE在准确性和计算效率方面均达到了最先进的性能。或许最有用的是，我们证明了所学习的低维独立分布潜空间表示为在诸如Stan的概率编程语言中对随机过程执行贝叶斯推断提供了一种优雅且可扩展的手段。
引用
@article{arxiv.2002.06873,
title = {$\pi$VAE: a stochastic process prior for Bayesian deep learning with MCMC},
author = {Swapnil Mishra and Seth Flaxman and Tresnia Berah and Harrison Zhu and Mikko Pakkanen and Samir Bhatt},
journal= {arXiv preprint arXiv:2002.06873},
year = {2022}
}