DreamIdentity：面向高效人脸身份保持图像生成的改进可编辑性方法
计算机视觉与模式识别
2023-07-04 v1
摘要
尽管大规模预训练文本到图像模型能够合成多样且高质量的人像图像，一个棘手的问题是如何在条件人脸图像中保持人脸身份。现有方法要么需要对每个人脸身份进行耗时的优化，要么以损害模型可编辑性为代价学习一个高效编码器。在本工作中，我们提出了一种针对每个人脸身份无需优化的方法，同时保持文本到图像模型的可编辑性。具体而言，我们提出一种新的人脸身份编码器来学习人脸的准确表示，其采用多尺度人脸特征并接一个多嵌入投影器，直接在文本嵌入空间中生成伪词。此外，我们提出自增强可编辑性学习以增强模型的可编辑性，其通过使用名人姓名构建生成人脸与编辑人脸的配对图像来实现，旨在将现成文本到图像模型在名人面孔上的成熟能力迁移至未见面孔。大量实验表明，我们的方法能以更快的速度在不同场景下生成身份保持的图像。
引用
@article{arxiv.2307.00300,
title = {DreamIdentity: Improved Editability for Efficient Face-identity Preserved Image Generation},
author = {Zhuowei Chen and Shancheng Fang and Wei Liu and Qian He and Mengqi Huang and Yongdong Zhang and Zhendong Mao},
journal= {arXiv preprint arXiv:2307.00300},
year = {2023}
}
备注
Project page: https://dreamidentity.github.io/