面向人脸图像的区域化风格一致迁移与编辑
多媒体
2021-04-30 v1
摘要
基于语义掩码的条件式区域人脸图像合成在使用生成对抗网络（GAN）方面已取得巨大成功。然而，在进行区域图像编辑时，不同区域的外观可能彼此不一致。本文关注人脸图像的区域化风格一致迁移与编辑问题。所提方法同时支持区域风格迁移与编辑。我们提出了多尺度编码器与风格映射网络。编码器负责提取真实人脸的区域风格。风格映射网络从随机样本为所有人脸区域生成风格。作为我们工作的关键部分，我们提出多区域风格注意力模块，以将参考图像的多区域风格嵌入适配到目标图像，从而生成和谐且可信的结果。此外，我们提出新指标“和谐分数”（harmony score），并在一项具有挑战性的设定下进行实验：涉及三个广泛使用的人脸数据集，并通过在数据集间迁移区域人脸外观来测试模型。不同数据集中的图像通常差异很大，这使得目标区域与参考区域间的不一致更为明显。结果表明，与 SOTA 方法相比，我们的模型能生成可靠的风格迁移与多模态编辑结果。此外，我们展示了使用所提方法的两个人脸编辑应用。
引用
@article{arxiv.2104.14109,
title = {Towards Harmonized Regional Style Transfer and Manipulation for Facial Images},
author = {Cong Wang and Fan Tang and Yong Zhang and Weiming Dong and Tieru Wu},
journal= {arXiv preprint arXiv:2104.14109},
year = {2021}
}