FaceChain-FACT：基于解耦训练的人脸适配器以实现身份保持个性化

在以人为中心的个性化图像生成领域，基于适配器的方法通过对面部数据进行文本到图像训练来获得定制和生成人物肖像的能力。这使得在推理时无需额外微调即可实现身份保持的个性化。尽管在效率和保真度方面取得了改进，但在测试后跟随能力、生成人脸的可控性和多样性方面，常常出现显著的性能下降。本文分析认为，性能下降归因于在提取过程中未能将身份特征从其他属性中解耦，以及未能将人物生成训练与整体生成任务解耦。为此，我们提出了面向模型架构和训练策略的脸部适配器解耦训练(Face Adapter with deCoupled Training, FACT)框架。为解耦身份特征与其他特征，我们利用基于转换器的人脸导出编码器并利用细粒度身份特征。为解耦人物生成训练，我们提出了面脸适配递增正则化(Face Adapting Increment Regularization, FAIR)，有效约束面脸适配器对面部区域的影响，保留基础模型的生成能力。此外，我们纳入面脸条件丢弃和混洗机制，结合课程学习，以增强面部可控性和多样性。结果显示，FACT仅从训练数据中学习身份保持，从而最小化对基础文本到图像能力的影响。大量实验表明，FACT在文本到图像生成和人物生成的图像修补解决方案中都具备可控性和保真度。