Talk-to-Edit：通过对话进行细粒度面部编辑
计算机视觉与模式识别
2021-09-10 v1
摘要
面部编辑是视觉与图形学中的一项重要任务，具有众多应用。然而，现有工作无法提供连续且细粒度的编辑模式（例如，将微微微笑的面部编辑为大笑的面部），并与用户进行自然交互。在这项工作中，我们提出了 Talk-to-Edit，一个通过用户与系统之间的对话执行细粒度属性操作的交互式面部编辑框架。我们的关键见解是在 GAN 潜空间中建模一个连续的“语义场”。1) 与以往将编辑视为在潜空间中沿直线遍历的工作不同，这里的细粒度编辑被表述为寻找一条遵循语义场上细粒度属性分布的弯曲轨迹。2) 每一步的曲率是特定于位置的，并由输入图像以及用户的语言请求决定。3) 为了让用户参与到有意义的对话中，我们的系统通过同时考虑用户请求和语义场的当前状态来生成语言反馈。我们还贡献了 CelebA-Dialog，一个视觉-语言面部编辑数据集，以促进大规模研究。具体而言，每张图像都有人工标注的细粒度属性注释以及自然语言的基于模板的文本描述。大量定量和定性实验证明了我们的框架在以下方面的优越性：1) 细粒度编辑的平滑度，2) 身份/属性保留，以及 3) 视觉照片级真实感与对话流畅度。值得注意的是，用户研究验证了我们的整体系统受到约 80% 参与者的持续青睐。我们的项目主页是 https://www.mmlab-ntu.com/project/talkedit/。
引用
@article{arxiv.2109.04425,
title = {Talk-to-Edit: Fine-Grained Facial Editing via Dialog},
author = {Yuming Jiang and Ziqi Huang and Xingang Pan and Chen Change Loy and Ziwei Liu},
journal= {arXiv preprint arXiv:2109.04425},
year = {2021}
}
备注
To appear in ICCV2021. Project Page: https://www.mmlab-ntu.com/project/talkedit/, Code: https://github.com/yumingj/Talk-to-Edit