通过语义变化改善零样本GAN自适应的多样性
计算机视觉与模式识别
2023-08-22 v1
摘要
训练深度生成模型通常需要大量数据。为降低数据收集成本，零样本GAN自适应任务旨在复用训练良好的生成器，在没有任何进一步训练样本的情况下合成未见目标域的图像。由于数据缺失，目标域的文本描述与视觉-语言模型（如CLIP）被用于有效引导生成器。然而，仅使用单一代表性文本特征而非真实图像时，合成图像随模型优化逐渐丧失多样性，即所谓的模式崩溃。为解决该问题，我们提出一种在CLIP空间中寻找目标文本语义变化的新方法。具体而言，我们基于目标域的信息性文本特征探索多样的语义变化，同时正则化语义信息的失控偏移。利用所得变化，我们设计了一种新颖的方向矩损失，用于匹配图像与文本方向分布的一阶与二阶矩。此外，我们引入弹性权重巩固与关系一致性损失，以有效保留源域中有价值的内容信息（如外观）。通过大量实验，我们证明了所提方法在零样本GAN自适应多种场景下保障样本多样性的有效性。我们还进行了消融实验以验证各提出组件的作用。值得注意的是，我们的模型在零样本GAN自适应的多样性与质量上均达到了新的SOTA。
引用
@article{arxiv.2308.10554,
title = {Improving Diversity in Zero-Shot GAN Adaptation with Semantic Variations},
author = {Seogkyu Jeon and Bei Liu and Pilhyeon Lee and Kibeom Hong and Jianlong Fu and Hyeran Byun},
journal= {arXiv preprint arXiv:2308.10554},
year = {2023}
}
备注
Accepted to ICCV 2023 (poster)