InstantFamily：用于零样本多 ID 图像生成的掩码注意力机制
计算机视觉与模式识别
2024-05-01 v1
摘要
在个性化图像生成领域，能够创建保留概念的图像的能力有所提升。然而，自然地将多个概念整合到 cohesive 且视觉上令人愉悦的构图中仍具有挑战性。本文引入"InstantFamily"方法，采用新颖的掩码交叉注意力机制和多模态嵌入堆栈，实现零样本多 ID 图像生成。该方法通过集成文本条件的预训练人脸识别模型中的全局与局部特征，有效保留人脸 ID。此外，掩码交叉注意力机制使我们能够精确控制生成图像中的多 ID 与构图。通过实验表明，InstantFamily 在多 ID 生成方面显著优于现有方法，解决了众所周知的多 ID 生成问题。此外，我们的模型在单 ID 和多 ID 保存方面均实现了最先进的性能。 Furthermore, our model exhibits remarkable scalability with a greater number of ID preservation than it was originally trained with。
引用
@article{arxiv.2404.19427,
title = {InstantFamily: Masked Attention for Zero-shot Multi-ID Image Generation},
author = {Chanran Kim and Jeongin Lee and Shichang Joung and Bongmo Kim and Yeul-Min Baek},
journal= {arXiv preprint arXiv:2404.19427},
year = {2024}
}