BootPIG：在预训练扩散模型中引导零样本个性化图像生成能力
计算机视觉与模式识别
2024-01-26 v1 人工智能
图形学
摘要
最近的文本到图像生成模型在生成忠实遵循输入提示的图像方面取得了令人难以置信的成功。然而，使用词语描述所需概念的要求对生成概念的外观提供了有限的控制。在这项工作中，我们通过提出一种方法来解决这一缺陷，该方法能够在现有的文本到图像扩散模型中实现个性化能力。我们提出了一种新颖的架构（BootPIG），允许用户提供对象的参考图像，以指导生成图像中概念的外观。所提出的BootPIG架构对预训练的文本到图像扩散模型进行了最小修改，并利用一个单独的UNet模型将生成导向所需外观。我们引入了一种训练程序，该程序允许我们使用从预训练文本到图像模型、LLM聊天代理和图像分割模型生成的数据，在BootPIG架构中引导个性化能力。与需要数天预训练的现有方法相比，BootPIG架构可以在大约1小时内完成训练。在DreamBooth数据集上的实验表明，BootPIG优于现有的零样本方法，同时与测试时微调方法相当。通过用户研究，我们验证了BootPIG生成在保持参考对象外观保真度和与文本提示对齐方面优于现有方法的偏好。
引用
@article{arxiv.2401.13974,
title = {BootPIG: Bootstrapping Zero-shot Personalized Image Generation Capabilities in Pretrained Diffusion Models},
author = {Senthil Purushwalkam and Akash Gokul and Shafiq Joty and Nikhil Naik},
journal= {arXiv preprint arXiv:2401.13974},
year = {2024}
}