面向无调优人脸个性化的统一方法:训练即身份,推理即可控性
计算机视觉与模式识别
2025-12-04 v1
摘要
无调优人脸个性化方法沿着两种不同范式发展:一种是文本嵌入方法将面部特征映射到文本嵌入空间,另一种是基于适配器的方法通过辅助交叉注意力层注入特征。虽然两种范式都显示出前景,但现有方法在同时实现高身份保真度和灵活的文本可控性方面存在困难。我们引入 UniID,一个统一的无调优框架,协同集成这两种范式。我们的关键洞察是,当合并这两种方法时,它们应该仅相互强化身份相关信息,同时保留非身份属性的原始扩散先验。我们通过一种原则性的训练-推理策略来实现这一点:在训练期间,我们采用以身份为导向的学习方案,引导两个分支仅捕获身份特征;在推理期间,我们引入一种归一化缩放机制,恢复基础扩散模型的文本可控性,同时使互补的身份信号能够相互增强。这种原则性的设计使 UniID 能够实现高保真度的人脸个性化,同时保持灵活的文本可控性。对六种前沿方法的广泛实验表明,UniID 在身份保持和文本可控性方面均表现出色。代码将在 https://github.com/lyuPang/UniID 上提供。
引用
@article{arxiv.2512.03964,
title = {Training for Identity, Inference for Controllability: A Unified Approach to Tuning-Free Face Personalization},
author = {Lianyu Pang and Ji Zhou and Qiping Wang and Baoquan Zhao and Zhenguo Yang and Qing Li and Xudong Mao},
journal= {arXiv preprint arXiv:2512.03964},
year = {2025}
}
备注
17 pages, 13 figures