CharacterFactory：用于扩散模型的 GAN 生成一致性人物
计算机视觉与模式识别
2024-04-30 v2
摘要
近期的文本到图像模型取得了突破，开辟了人物-centric 生成的新前沿。然而，这些模型无法直接用于生成具有一致新身份的图像。本文提出 CharacterFactory 框架，允许在 GAN 的潜在空间中对新角色进行一致身份的采样。具体而言，我们将 celeb 姓名的词嵌入视为身份一致生成任务的基准真实值，并训练 GAN 模型学习从潜在空间到 celeb 嵌入空间的映射。此外，我们设计了上下文一致性损失，以确保生成的身份嵌入能够在各种上下文中产生身份一致的图像。值得注意的是，整个模型仅需 10 分钟即可完成训练，推理期间可端到端无限采样新角色。广泛实验表明，所提出的 CharacterFactory 在角色创建方面在身份一致性和可编辑性方面表现优异。此外，生成的角色可以无缝融合到开箱即用的图像/视频/3D 扩散模型中。我们认为，CharacterFactory 是身份一致人物生成的重要一步。项目页面可在 https://qinghew.github.io/CharacterFactory/ 查阅。
引用
@article{arxiv.2404.15677,
title = {CharacterFactory: Sampling Consistent Characters with GANs for Diffusion Models},
author = {Qinghe Wang and Baolu Li and Xiaomin Li and Bing Cao and Liqian Ma and Huchuan Lu and Xu Jia},
journal= {arXiv preprint arXiv:2404.15677},
year = {2024}
}
备注
Code will be released very soon: https://github.com/qinghew/CharacterFactory