面向面部表情编辑的自监督形变建模
计算机视觉与模式识别
2019-11-07 v2
摘要
深度生成模型的最新进展在照片级真实人脸图像合成与编辑中展现了令人印象深刻的成果。面部表情本质上是肌肉运动的结果。然而，现有的基于神经网络的方案通常仅依赖纹理生成来编辑表情，并在很大程度上忽略了运动信息。本工作中，我们提出一种新颖的端到端网络，将面部编辑任务解耦为两步：“运动编辑”步与“纹理编辑”步。在“运动编辑”步中，我们通过图像形变显式建模面部运动，将图像扭曲至期望表情。在“纹理编辑”步中，我们生成必要纹理（如牙齿与阴影效果）以获得照片级真实结果。我们基于物理的任务解耦系统设计使每一步可学习聚焦的任务，消除了生成纹理以虚构运动的需求。我们的系统以自监督方式训练，无需真实形变标注。使用动作单元（Action Units）[8] 作为面部表情的表示，我们的方法在定性与定量评估中均提升了最先进（SOTA）的面部表情编辑性能。
引用
@article{arxiv.1911.00735,
title = {Self-supervised Deformation Modeling for Facial Expression Editing},
author = {ShahRukh Athar and Zhixin Shu and Dimitris Samaras},
journal= {arXiv preprint arXiv:1911.00735},
year = {2019}
}