PersonaMagic：基于 tandem equilibrium 的阶段控制高保真人脸定制
计算机视觉与模式识别
2024-12-23 v1
摘要
个性化图像生成在适应新概念方面取得了显著进展。然而，仍面临一个持久挑战：在保持编辑可控性的同时准确重建未见概念，尤其是在处理面部特征的复杂细微差别时。在本研究中，我们细致考察了文本到图像条件过程中的时间动态，强调阶段划分在引入新概念中的关键作用。我们提出 PersonaMagic，一种用于高保真人脸定制的阶段控制生成技术。通过一个简单的 MLP 网络，我们的方法在特定时间步间隔内学习一系列嵌入来捕获人脸概念。此外，我们开发了一种 tandem equilibrium 机制，用于调整文本编码器中的自注意力响应，在文本描述和身份保留之间进行平衡，提升两个方面的表现。广泛的实验确认了 PersonaMagic 在定性和定量评估中的优势。此外，其在非人脸领域的鲁棒性和灵活性也得到了验证，并且可以作为增强预训练个人化模型性能的有价值插件。
引用
@article{arxiv.2412.15674,
title = {PersonaMagic: Stage-Regulated High-Fidelity Face Customization with Tandem Equilibrium},
author = {Xinzhe Li and Jiahui Zhan and Shengfeng He and Yangyang Xu and Junyu Dong and Huaidong Zhang and Yong Du},
journal= {arXiv preprint arXiv:2412.15674},
year = {2024}
}
备注
This paper is accepted by AAAI 2025. The code is available at https://github.com/xzhe-Vision/PersonaMagic