通过学习统一面部表示实现通用 FaceX
计算机视觉与模式识别
2024-01-02 v1
摘要
本文提出了 FaceX 框架，这是一种能够同时处理多种面部任务的新型面部通用模型。为实现这一目标，我们首先为广泛的面部编辑任务构建了一种统一的面部表示，从宏观上将面部分解为基本身份、个体内变化和环境因素。在此基础上，我们引入了面部全表示分解（Facial Omni-Representation Decomposing, FORD），用于无缝操作各种面部组件，从微观上分解大多数面部编辑任务的核心方面。此外，通过利用预训练 StableDiffusion (SD) 的先验知识来提升生成质量并加速训练，我们设计了面部全表示引导（Facial Omni-Representation Steering, FORS），以首先组装统一的面部表示，然后通过高效的面部表示控制器（Facial Representation Controller, FRC）有效引导感知 SD 的生成过程。无需任何额外特征，我们的多功能 FaceX 在流行的面部编辑任务上实现了与精心设计的特定任务模型相媲美的性能。完整代码和模型将在 https://github.com/diffusion-facex/FaceX 提供。
引用
@article{arxiv.2401.00551,
title = {A Generalist FaceX via Learning Unified Facial Representation},
author = {Yue Han and Jiangning Zhang and Junwei Zhu and Xiangtai Li and Yanhao Ge and Wei Li and Chengjie Wang and Yong Liu and Xiaoming Liu and Ying Tai},
journal= {arXiv preprint arXiv:2401.00551},
year = {2024}
}
备注
Project page: https://diffusion-facex.github.io/