AS-IntroVAE：对抗相似性距离造就鲁棒IntroVAE
图像与视频处理
2022-11-01 v3 计算机视觉与模式识别
摘要
近来，IntroVAE和S-IntroVAE等内省模型在图像生成与重建任务中表现出色。内省模型的主要特征是对VAE的对抗式学习，其中编码器试图区分真实图像与伪造（即合成）图像。然而，由于缺乏评估真实与伪造图像差异的有效度量，后验坍缩与梯度消失问题依然存在，降低了合成图像的保真度。本文提出一种称为对抗相似性距离内省变分自编码器（AS-IntroVAE）的IntroVAE新变体。我们从理论上分析了梯度消失问题，并利用2-Wasserstein距离与核技巧构造了新的对抗相似性距离（AS-Distance）。通过对AS-Distance与KL散度进行权重退火，AS-IntroVAE能够生成稳定且高质量的图像。后验坍缩问题通过逐批次尝试变换图像使其更好地拟合隐空间中的先验分布来解决。相较于逐图像方法，该策略促进了隐空间中更多样化的分布，使我们的模型能生成极具多样性的图像。在基准数据集上的综合实验证明了AS-IntroVAE在图像生成与重建任务上的有效性。
引用
@article{arxiv.2206.13903,
title = {AS-IntroVAE: Adversarial Similarity Distance Makes Robust IntroVAE},
author = {Changjie Lu and Shen Zheng and Zirui Wang and Omar Dib and Gaurav Gupta},
journal= {arXiv preprint arXiv:2206.13903},
year = {2022}
}
备注
ACML conference paper