基于属性特定提示学习的高效 3D 感知人脸图像编辑
计算机视觉与模式识别
2024-07-25 v2 人工智能
摘要
引自 StyleGAN 的表达性和解缠 latent 空间，现有的 2D 方法采用文本提示来编辑具有不同属性的面部图像。相比之下，需要属性特定分类器的 3D 感知方法会为每个属性学习独立的模型权重，难以扩展到新属性。在本工作中，我们提出一种基于属性特定提示学习的高效、即插即用、3D 感知人脸编辑框架，使能够在各种目标姿态下生成具有可控属性的面部图像。为此，我们引入一种基于可学习风格标记的文本驱动 latent 属性编辑器(LAE)。LAE 利用预训练的视觉语言模型在任何预训练 3D 感知 GAN 的 latent 空间中寻找文本引导的属性特定编辑方向。它利用可学习的风格标记和风格映射器来学习并将此编辑方向转换为 3D latent 空间。为训练具有多个属性的 LAE，我们使用方向对比损失和风格标记损失。此外，为确保在不同姿态和属性下的视图一致性和身份保持，我们采用多种 3D 感知身份和姿态保持损失。我们的实验表明，所提出的框架在保持属性特定特征的同时，能够生成具有 3D 感知和视图一致性的高质量图像。我们在各种面部属性上 demonstration了该方法的有效性，包括发色和发型、表情等。
引用
@article{arxiv.2406.04413,
title = {Efficient 3D-Aware Facial Image Editing via Attribute-Specific Prompt Learning},
author = {Amandeep Kumar and Muhammad Awais and Sanath Narayan and Hisham Cholakkal and Salman Khan and Rao Muhammad Anwer},
journal= {arXiv preprint arXiv:2406.04413},
year = {2024}
}
备注
Accepted at ECCV, 2024. Amandeep Kumar and Muhammad Awais are joint first authors. More details are available at https://awaisrauf.github.io/3d_face_editing