仅需一次 CLIP 的 GAN 单次自适应
计算机视觉与模式识别
2023-01-31 v4 人工智能
机器学习
机器学习
摘要
近期许多研究致力于用少量目标图像微调预训练生成器，以生成新域的图像。遗憾的是，这些方法在仅用单张目标图像微调时，常面临过拟合或欠拟合问题。为此，我们提出了一种通过统一 CLIP 空间操作实现的新型单次 GAN 自适应方法。具体而言，我们的模型采用两步训练策略：首先利用 CLIP 引导的隐空间优化在源生成器中搜索参考图像，随后使用一种新颖的损失函数微调生成器，该损失函数对源生成器与自适应生成器之间施加 CLIP 空间一致性约束。为了进一步提升自适应模型相对于源生成器生成空间一致样本的能力，我们还提出了 CLIP 空间中块级关系的对比正则化。实验结果表明，我们的模型能生成具有目标纹理的多样化输出，并在定性与定量上均优于基线模型。此外，我们展示了 CLIP 空间操作策略可实现更有效的属性编辑。
引用
@article{arxiv.2203.09301,
title = {One-Shot Adaptation of GAN in Just One CLIP},
author = {Gihyun Kwon and Jong Chul Ye},
journal= {arXiv preprint arXiv:2203.09301},
year = {2023}
}