FakeCLR：探索对比学习以解决数据高效 GANs 中的潜空间不连续问题
计算机视觉与模式识别
2022-07-20 v2 人工智能
机器学习
摘要
数据高效 GANs（DE-GANs）旨在以有限训练数据学习生成模型，在生成高质量样本时面临若干挑战。由于数据增强策略已大幅缓解训练不稳定性，如何进一步提升 DE-GANs 的生成性能成为热点。近期，对比学习展现出提升 DE-GANs 合成质量的巨大潜力，但其相关原理尚未被充分探究。本文中，我们重访并比较 DE-GANs 中不同的对比学习策略，并识别出：（i）当前生成性能的瓶颈在于潜空间的不连续性；（ii）相较于其他对比学习策略，实例扰动致力于潜空间连续性，为 DE-GANs 带来主要改进。基于这些观察，我们提出 FakeCLR，其仅在扰动的假样本上应用对比学习，并设计三种相关训练技巧：噪声相关潜增强、多样性感知队列与队列遗忘因子。我们的实验结果在少样本生成与有限数据生成上均展现了新的最优水平。在多个数据集上，FakeCLR 相较现有 DE-GANs 取得超过 15% 的 FID 提升。代码见 https://github.com/iceli1007/FakeCLR。
引用
@article{arxiv.2207.08630,
title = {FakeCLR: Exploring Contrastive Learning for Solving Latent Discontinuity in Data-Efficient GANs},
author = {Ziqiang Li and Chaoyue Wang and Heliang Zheng and Jing Zhang and Bin Li},
journal= {arXiv preprint arXiv:2207.08630},
year = {2022}
}
备注
Accepted by ECCV2022