动量对比自编码器：在WAE中使用对比学习进行隐空间分布匹配
计算机视觉与模式识别
2023-02-17 v2 机器学习
摘要
Wasserstein自编码器(WAE)表明，在约束该自编码器(AE)的隐空间匹配预先指定的先验分布下，匹配两个分布等价于最小化一个简单的自编码器损失。这种隐空间分布匹配是WAE的核心组件，也是一项具有挑战性的任务。在本文中，我们提出使用已被证明对自监督表示学习有效的对比学习框架，作为解决此问题的手段。我们利用以下事实来实现这一点：对比学习目标将隐空间分布优化为单位超球面上的均匀分布，而该分布易于采样。我们表明，使用对比学习框架优化WAE损失相比现有的流行WAE算法实现了更快的收敛和更稳定的优化。这同样反映在CelebA和CIFAR-10数据集上的FID分数，以及CelebA-HQ数据集上生成的真实图像质量中。
引用
@article{arxiv.2110.10303,
title = {Momentum Contrastive Autoencoder: Using Contrastive Learning for Latent Space Distribution Matching in WAE},
author = {Devansh Arpit and Aadyot Bhatnagar and Huan Wang and Caiming Xiong},
journal= {arXiv preprint arXiv:2110.10303},
year = {2023}
}