ByPE-VAE：贝叶斯伪核心集范例VAE
机器学习
2021-11-02 v3
摘要
近期研究表明，先进的先验在深度生成模型中起主要作用。范例VAE（Exemplar VAE）作为带有基于范例先验的VAE变体，已取得令人印象深刻的成果。然而，由于模型设计本质，基于范例的模型通常需要海量数据参与训练，导致巨大计算复杂度。为解决此问题，我们提出贝叶斯伪核心集范例VAE（ByPE-VAE），一种基于贝叶斯伪核心集先验的VAE新变体。所提先验以小规模伪核心集而非整个数据集为条件，以降低计算成本并避免过拟合。同时，我们在VAE训练期间通过随机优化算法获得最优伪核心集，旨在最小化基于伪核心集的先验与基于整个数据集的先验之间的Kullback-Leibler散度。实验结果表明，ByPE-VAE在密度估计、表示学习和生成式数据增强任务上可比最先进VAE取得竞争性提升。尤其在基础VAE架构上，ByPE-VAE比Exemplar VAE快至多3倍，同时几乎保持性能。代码见 \url{https://github.com/Aiqz/ByPE-VAE}。
引用
@article{arxiv.2107.09286,
title = {ByPE-VAE: Bayesian Pseudocoresets Exemplar VAE},
author = {Qingzhong Ai and Lirong He and Shiyu Liu and Zenglin Xu},
journal= {arXiv preprint arXiv:2107.09286},
year = {2021}
}
备注
NeurIPS21