IDAdapter：学习混合特征以实现文本到图像模型的免调优个性化

利用 Stable Diffusion 生成个性化肖像已成为一种强大且值得注意的工具，使用户能够根据其特定提示创建高保真、定制的角色头像。然而，现有的个性化方法面临挑战，包括测试时微调、需要多张输入图像、身份保持度低以及生成结果多样性有限。为了克服这些挑战，我们引入了 IDAdapter，这是一种免调优方法，可增强从单张人脸图像进行个性化图像生成的多样性和身份保持度。IDAdapter 通过文本和视觉注入的组合以及人脸身份损失，将个性化概念整合到生成过程中。在训练阶段，我们融合了来自特定身份的多张参考图像的混合特征，以丰富与身份相关的内容细节，引导模型生成与先前工作相比具有更多样化风格、表情和角度的图像。广泛的评估证明了我们方法的有效性，在生成的图像中同时实现了多样性和身份保真度。