基于图像特定提示学习的零样本生成模型自适应
计算机视觉与模式识别
2023-04-07 v1
摘要
近来，CLIP 引导的图像合成在将预训练源域生成器自适应到未见目标域方面展现出引人注目的性能。它不需要任何目标域样本，仅需文本域标签。训练效率极高，例如仅需几分钟。然而，现有方法在生成图像质量上仍存在一些局限，并可能遭受模式崩溃问题。一个关键原因是，对所有跨域图像对施加了固定的自适应方向，导致监督信号相同。为解决这个问题，我们提出图像特定提示学习（IPL）方法，为每张源域图像学习特定的提示向量。这为每一个跨域图像对产生更精确的自适应方向，赋予目标域生成器极大增强的灵活性。在多个域上的定性与定量评估表明，IPL 有效提升了合成图像的质量与多样性，并缓解了模式崩溃。此外，IPL 独立于生成模型的结构，如生成对抗网络或扩散模型。代码见 https://github.com/Picsart-AI-Research/IPL-Zero-Shot-Generative-Model-Adaptation。
引用
@article{arxiv.2304.03119,
title = {Zero-shot Generative Model Adaptation via Image-specific Prompt Learning},
author = {Jiayi Guo and Chaofei Wang and You Wu and Eric Zhang and Kai Wang and Xingqian Xu and Shiji Song and Humphrey Shi and Gao Huang},
journal= {arXiv preprint arXiv:2304.03119},
year = {2023}
}
备注
Accepted by CVPR 2023. GitHub: https://github.com/Picsart-AI-Research/IPL-Zero-Shot-Generative-Model-Adaptation