用于渐进式面对面合成的一种循环循环一致性损失
计算机视觉与模式识别
2020-04-16 v1
摘要
本文解决了在面对面合成领域中使用循环一致性损失来保持输入外观时的一个主要缺陷。具体而言，我们表明，使用此损失训练的网络所生成的图像隐藏了一种噪声，妨碍其用于进一步任务。为克服该限制，我们提出了一种“循环循环一致性损失（recurrent cycle consistency loss）”，其针对不同目标属性序列，最小化输出图像之间的距离，而与任何中间步骤无关。我们凭经验验证，我们的损失不仅支持生成图像的复用，还提升了其质量。此外，我们提出了首个覆盖无约束 landmark 引导面对面合成任务的网络。与先前工作不同，我们提出的方法能够将特定输入特征集迁移至大跨度的姿态与表情，其中目标 landmark 成为真值点。随后我们评估了所提方法在目标 landmark 处合成人脸的一致性。据我们所知，我们首个提出一种损失以克服循环一致性损失的局限，并首个提出“in-the-wild” landmark 引导合成方法。本文的代码与模型见 https://github.com/ESanchezLozano/GANnotation
引用
@article{arxiv.2004.07165,
title = {A recurrent cycle consistency loss for progressive face-to-face synthesis},
author = {Enrique Sanchez and Michel Valstar},
journal= {arXiv preprint arXiv:2004.07165},
year = {2020}
}
备注
Accepted to FG 2020 (Oral). arXiv admin note: substantial text overlap with arXiv:1811.03492