面向预训练扩散模型且具备细粒度 ID 与属性控制的人脸适配器
计算机视觉与模式识别
2024-07-10 v2
摘要
当前的人脸重演和换脸方法主要依赖 GAN 框架，但最近的关注点已转向预训练扩散模型，因其具有卓越的生成能力。然而，训练这些模型资源消耗大，且结果尚未达到令人满意的性能水平。为了解决这一问题，我们引入了 Face-Adapter，这是一种高效且有效的适配器，专为预训练扩散模型的高精度和高保真人脸编辑而设计。我们观察到，人脸重演和换脸任务本质上都涉及目标结构、ID 和属性的组合。我们旨在充分解耦这些因素的控制，从而在一个模型中同时实现这两项任务。具体而言，我们的方法包含：1) 一个空间条件生成器，提供精确的关键点和背景；2) 一个即插即用的身份编码器，通过 transformer 解码器将人脸嵌入转换到文本空间；3) 一个属性控制器，整合空间条件与详细属性。与完全微调的人脸重演和换脸模型相比，Face-Adapter 在动作控制精度、ID 保留能力和生成质量方面取得了相当甚至更优的性能。此外，Face-Adapter 能够与各种 StableDiffusion 模型无缝集成。
引用
@article{arxiv.2405.12970,
title = {Face Adapter for Pre-Trained Diffusion Models with Fine-Grained ID and Attribute Control},
author = {Yue Han and Junwei Zhu and Keke He and Xu Chen and Yanhao Ge and Wei Li and Xiangtai Li and Jiangning Zhang and Chengjie Wang and Yong Liu},
journal= {arXiv preprint arXiv:2405.12970},
year = {2024}
}
备注
Accepted to ECCV2024; Project Page: https://faceadapter.github.io/face-adapter.github.io/