S2FGAN：语义感知的交互式草图到人脸图像翻译
计算机视觉与模式识别
2021-10-12 v3
摘要
交互式人脸图像编辑试图以照片级真实人脸和/或语义掩码作为输入来编辑单个人脸属性和多个人脸属性。在缺乏照片级真实图像（仅有草图/掩码可用）的情况下，先前方法仅检索原始人脸，却忽视了在翻译过程中辅助模型可控性与多样性的潜力。本文提出一种称为 S2FGAN 的草图到图像生成框架，旨在提升用户从简单草图解读及灵活编辑人脸属性的能力。所提框架修改了在生成对抗网络（GANs）上训练的受限潜空间语义。我们采用两个潜空间来控制人脸外观并调节生成人脸的所需属性。不同于通过使用参考图像约束翻译过程，用户可命令模型通过在生成过程中引入语义信息来修饰生成图像。如此，我们的方法仅通过指定待更改属性即可操控单个或多个脸属性。在 CelebAMask-HQ 数据集上的大量实验结果实证展示了我们在该任务上的优越性能与有效性。我们的方法通过利用对属性强度的更大控制，在属性操控上成功优于最先进（SOTA）方法。
引用
@article{arxiv.2011.14785,
title = {S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation},
author = {Yan Yang and Md Zakir Hossain and Tom Gedeon and Shafin Rahman},
journal= {arXiv preprint arXiv:2011.14785},
year = {2021}
}