基于能量的变分潜在先验VAE
机器学习
2025-10-02 v1 人工智能
计算机视觉与模式识别
摘要
变分自编码器（VAE）因生成模糊且不一致的样本而闻名。其原因之一是“先验孔”问题。所谓先验孔，指的是在VAE的先验分布中概率较高但在VAE的后验分布中概率较低的区域。这意味着在数据生成期间，来自先验的高概率样本可能在后验中概率较低，导致生成质量较差。理想情况下，先验需要具备足够的灵活性以匹配后验，同时保留快速生成样本的能力。生成模型持续致力于解决这一权衡。本文提出将先验建模为能量基模型（EBM）。虽然EBM以灵活匹配后验（以及改进ELBO）而闻名，但由于依赖MCMC方法，传统上在样本生成方面较慢。我们的关键思想是引入变分方法来处理EBM中的归一化常数，从而绕过昂贵的MCMC方法。变分形式可以用采样网络近似，我们展示了这种先验训练方法可形式化为交替优化问题。此外，相同的采样器在生成期间简化为隐式变分先验，提供了高效且快速的采样。我们将Energy-based Variational Latent Prior（EVaLP）方法与多个SOTA基线进行比较，显示在图像生成质量、减少先验孔以及更好的采样效率方面都有所改进。
引用
@article{arxiv.2510.00260,
title = {Learning Energy-based Variational Latent Prior for VAEs},
author = {Debottam Dutta and Chaitanya Amballa and Zhongweiyang Xu and Yu-Lin Wei and Romit Roy Choudhury},
journal= {arXiv preprint arXiv:2510.00260},
year = {2025}
}