中文

基于几何感知流的实例级面部属性迁移

计算机视觉与模式识别 2018-12-03 v1 图形学 机器学习

摘要

我们解决了在无配对训练数据情况下的实例级面部属性迁移问题,例如将源人脸中确切的胡须忠实地迁移到目标人脸。这是比传统语义级属性迁移更具挑战性的任务,后者仅保留通用属性风格而非实例级特征。我们提出使用几何感知流,它作为建模实例级面部属性之间变换的合适表示。具体而言,我们利用面部关键点作为几何引导,自动学习可微流,尽管存在较大的姿态差异。几何感知流能够将源人脸属性扭曲到目标人脸上下文中,并生成扭曲与混合的结果。为补偿源人脸与目标人脸之间潜在的外观差异,我们提出一个幻影子网络,产生外观残差以进一步细化扭曲与混合的结果。最后,设计了一个由属性迁移模块和属性去除模块组成的循环一致性框架,从而可使用大量无配对人脸图像作为训练数据。大量评估验证了我们的方法在跨大姿态和外观差异忠实迁移实例级面部属性方面的能力。得益于流的表示,我们的方法可轻易应用于在高分辨率图像上生成逼真细节。

关键词

引用

@article{arxiv.1811.12670,
  title  = {Instance-level Facial Attributes Transfer with Geometry-Aware Flow},
  author = {Weidong Yin and Ziwei Liu and Chen Change Loy},
  journal= {arXiv preprint arXiv:1811.12670},
  year   = {2018}
}

备注

To appear in AAAI 2019. Code and models are available at: https://github.com/wdyin/GeoGAN