ChatFace：基于扩散隐空间操控的聊天引导真实人脸编辑
计算机视觉与模式识别
2023-06-06 v2
摘要
编辑真实人脸图像是计算机视觉中的一项关键任务，在各种现实应用中需求显著。尽管基于 GAN 的方法在图像操控方面展现出潜力，尤其在与 CLIP 结合时，但由于具有挑战性的 GAN 逆映射能力，这些方法在重建真实图像方面存在局限。尽管基于扩散的方法实现了成功的图像重建，在利用文本指令有效操控细粒度人脸属性方面仍存在挑战。为解决这些问题并便利真实人脸图像的便捷操控，我们提出一种新方法，在扩散模型的语义隐空间中执行文本驱动的图像编辑。通过将扩散模型的时间特征与生成过程中的语义条件对齐，我们引入一种稳定的操控策略，可有效地执行精确的零样本操控。此外，我们开发了一个名为 ChatFace 的交互式系统，其结合大语言模型的零样本推理能力，在扩散语义隐空间中进行高效操控。该系统使用户能够通过对话执行复杂的多属性操控，为交互式图像编辑开辟了新可能。大量实验证实，我们的方法优于先前方法，并能够实现真实人脸图像的精确编辑，使其成为现实应用的有前景的候选方案。项目主页：https://dongxuyue.github.io/chatface/
引用
@article{arxiv.2305.14742,
title = {ChatFace: Chat-Guided Real Face Editing via Diffusion Latent Space Manipulation},
author = {Dongxu Yue and Qin Guo and Munan Ning and Jiaxi Cui and Yuesheng Zhu and Li Yuan},
journal= {arXiv preprint arXiv:2305.14742},
year = {2023}
}