基于条件Wasserstein生成对抗网络在希尔伯特超球面上动态生成面部表情
计算机视觉与模式识别
2020-06-18 v2
摘要
本工作中，我们提出一种给定中性人脸图像生成六种基本面部表情视频的新方法。我们提出利用人脸几何，将面部 landmarks 运动建模为编码为超球面上点的曲线。通过提出流形值Wasserstein生成对抗网络（GAN）在超球面上进行运动生成的条件版本，我们学习了不同类别面部表情动力学的分布，并从中合成新的面部表情运动。所得运动可转换为landmarks序列，然后通过另一个条件生成对抗网络编辑纹理信息转换为图像序列。据我们所知，这是首个探索以GAN结合流形值表示来解决动态面部表情生成问题的工作。我们在两个公开数据集Oulu-CASIA与MUG Facial Expression上对我们的方法进行了定量与定性评估。实验结果表明了我们的方法在生成具有连续运动、真实外观与身份保持的真实视频方面的有效性。我们还展示了我们的框架在动态面部表情生成、动态面部表情迁移以及用于训练改进情绪识别模型的数据增强方面的效率。
引用
@article{arxiv.1907.10087,
title = {Dynamic Facial Expression Generation on Hilbert Hypersphere with Conditional Wasserstein Generative Adversarial Nets},
author = {Naima Otberdout and Mohamed Daoudi and Anis Kacem and Lahoucine Ballihi and Stefano Berretti},
journal= {arXiv preprint arXiv:1907.10087},
year = {2020}
}