CoIE：面向多属性人脸操控的指令链编辑
计算机视觉与模式识别
2023-12-21 v2 人工智能
摘要
当前的文本到图像编辑模型在使用单条指令平滑操控多个属性时常常遇到挑战。受语言模型中使用的思维链提示技术的启发，我们提出了一个创新概念，称为指令链编辑（CoIE），它通过使用一系列指令进行逐步编辑来增强这些模型的能力。具体而言，在人脸操控的背景下，我们利用预训练大语言模型（LLM）（如GPT-4）的上下文学习能力，借助专门设计的单样本模板，从原始输入生成指令序列。为了进一步提高每个编辑步骤的精确度，我们使用自建的指令引导人脸编辑数据集Instruct-CelebA对编辑模型进行微调。此外，我们还引入了一个超分辨率模块，以减轻可编辑性和质量下降的不利影响。在各种具有挑战性的案例上的实验结果证实，使用指令链编辑显著提升了多属性人脸图像操控的性能。这体现在编辑成功率（由CLIPSim和Coverage指标衡量）分别提高了17.86%和85.45%，以及可控性（由Preserve L1和Quality指标指示）分别提高了11.58%和4.93%。
引用
@article{arxiv.2312.07879,
title = {CoIE: Chain-of-Instruct Editing for Multi-Attribute Face Manipulation},
author = {Zhenduo Zhang and Bo-Wen Zhang and Guang Liu},
journal= {arXiv preprint arXiv:2312.07879},
year = {2023}
}