ManiCLIP：基于文本的多属性人脸编辑方法
计算机视觉与模式识别
2023-03-28 v3
摘要
本文提出一种基于文本描述的新颖多属性人脸编辑方法。已有的基于文本的图像编辑方法要么需要对每幅图像在测试时进行优化，要么仅限于单属性编辑。将这些方法扩展到多属性人脸图像编辑场景会引入不期望的过度属性改变，例如文本相关属性被过度操控且文本无关属性也发生改变。为应对这些挑战并实现多个面部属性的自然编辑，我们提出一种新的解耦训练方案，其中采用分组采样从同一属性类别中获取文本片段，而非使用完整的复杂句子。此外，为保留其他已有面部属性，我们通过熵约束鼓励模型分别编辑各属性的潜码。在推理阶段，我们的模型无需任何测试时优化即可编辑新的人脸图像，即便面对复杂文本提示也是如此。我们展示了大量实验与分析以证明方法的有效性，其生成的操控后人脸自然且文本无关属性编辑最少。代码与预训练模型见 https://github.com/hwang1996/ManiCLIP。
引用
@article{arxiv.2210.00445,
title = {ManiCLIP: Multi-Attribute Face Manipulation from Text},
author = {Hao Wang and Guosheng Lin and Ana García del Molino and Anran Wang and Jiashi Feng and Zhiqi Shen},
journal= {arXiv preprint arXiv:2210.00445},
year = {2023}
}
备注
Code link: https://github.com/hwang1996/ManiCLIP