VQGAN-CLIP：基于自然语言引导的开放域图像生成与编辑
计算机视觉与模式识别
2022-09-07 v2
摘要
从开放域文本提示生成和编辑图像是一项具有挑战性的任务，迄今为止需要昂贵且专门训练的模型。我们展示了一种用于上述两项任务的新颖方法，其能够利用多模态编码器引导图像生成，无需任何训练即可从具有显著语义复杂性的文本提示产生高视觉质量图像。我们在多种任务上展示，使用CLIP [37]引导VQGAN [11]比先前灵活性较低的方法(如DALL-E [38]、GLIDE [33]和Open-Edit [24])产生更高的视觉质量输出，尽管并未针对所呈现任务进行训练。我们的代码已在公共仓库中提供。
引用
@article{arxiv.2204.08583,
title = {VQGAN-CLIP: Open Domain Image Generation and Editing with Natural Language Guidance},
author = {Katherine Crowson and Stella Biderman and Daniel Kornis and Dashiell Stander and Eric Hallahan and Louis Castricato and Edward Raff},
journal= {arXiv preprint arXiv:2204.08583},
year = {2022}
}
备注
Accepted for publication at ECCV 2022 Code available at https://github.com/EleutherAI/vqgan-clip/tree/main/notebooks