Foundation Cures Personalization：利用隐藏 foundation 知识提升个性化模型的提示一致性

面部个性化面临在保持身份保真度的同时不破坏 foundation 模型提示一致性的挑战。主流的个性化模型采用身份嵌入将身份信息整合到注意力机制中。然而，我们的初步发现表明，身份嵌入会损害提示中其他 token 的效果，从而限制了高提示一致性和属性级可控性。此外，通过去除身份嵌入，个性化模型仍显示出 foundation 模型能够精确控制面部属性的潜在能力。这表明可以利用此类 foundation 模型的知识来治疗个性化模型提示一致性的不良对齐问题。基于这些洞见，我们提出了 FreeCure 框架，通过 foundation 模型的潜在知识提升个性化模型的提示一致性。首先，采用带/不带身份嵌入的双推理范式，识别出用于增强的属性（如发型、配件等）。其次，我们引入一种 novel foundation-aware自注意力模块，配合基于 inversion 的过程将 well 对齐的属性信息引入个性化过程。该方法无需训练，能够有效提升广泛面部属性的表现，并可无缝集成到基于 Stable Diffusion 和 FLUX 的流行个性化模型中。FreeCure 在这些面部个性化模型中始终显示出在保持原有身份保真度的同时显著提升提示一致性的显著性能。