具有测试时免费增益的能量校准变分自编码器
计算机视觉与模式识别
2024-07-19 v5
摘要
本文提出一种利用条件能量基模型(EBM)增强变分自编码器(VAE)的新型生成模型,称为能量校准变分自编码器(EC-VAE)。具体而言,VAE常因在生成方向上对所生成样本缺乏针对性训练而产生模糊样本。另一方面,EBM能生成高质量样本,但需要昂贵的马尔可夫链蒙特卡洛(MCMC)采样。为解决这些问题,我们引入一个条件EBM,在训练期间校准VAE的生成方向,而在测试时生成无需该模型。特别地,我们在输入数据与校准样本上以自适应权重训练EC-VAE,以提升效果并避免测试时的MCMC采样。此外,我们将EC-VAE的校准思想扩展到变分学习与归一化流,并将EC-VAE应用于通过神经传输先验与值域-零空间理论的零样本图像复原这一附加应用。我们通过图像生成与零样本图像复原两项应用评估所提方法,实验结果表明我们的方法在单步非对抗生成上取得了有竞争力的性能。我们的代码见 https://github.com/DJ-LYH/EC-VAE。
引用
@article{arxiv.2311.04071,
title = {Energy-Calibrated VAE with Test Time Free Lunch},
author = {Yihong Luo and Siya Qiu and Xingjian Tao and Yujun Cai and Jing Tang},
journal= {arXiv preprint arXiv:2311.04071},
year = {2024}
}
备注
ECCV 2024. Code is available at https://github.com/DJ-LYH/EC-VAE