基于 PAC-Bayesian 理论的变分自编码器统计保证
机器学习
2023-12-11 v3 机器学习
摘要
自问世以来，变分自编码器（VAEs）已成为机器学习的核心。尽管其被广泛使用，关于其理论性质的诸多问题仍待解答。本文利用 PAC-Bayesian 理论为 VAEs 建立统计保证。首先，我们推导出首个针对以数据生成分布中单个样本为条件的后验分布的 PAC-Bayesian 界。随后，我们利用该结果为 VAE 的重构损失建立泛化保证，并给出输入分布与再生分布间距离的上界。更重要的是，我们给出了输入分布与 VAE 生成模型所定义分布之间 Wasserstein 距离的上界。
引用
@article{arxiv.2310.04935,
title = {Statistical Guarantees for Variational Autoencoders using PAC-Bayesian Theory},
author = {Sokhna Diarra Mbacke and Florence Clerc and Pascal Germain},
journal= {arXiv preprint arXiv:2310.04935},
year = {2023}
}
备注
Spotlight Paper at NeurIPS 2023