GaFET:基于野外图像学习几何感知面部表情转换
计算机视觉与模式识别
2023-08-08 v1
摘要
尽管当前的面部动画方法可以单独操控表情,但它们存在若干局限。一些基于运动的面部重演模型所操控的表情较为粗糙。其他以面部动作单元建模的思路无法泛化到标注未覆盖的任意表情。本文提出一种新颖的几何感知面部表情转换(GaFET)框架,其基于参数化 3D 面部表示并能够稳定地解耦表情。其中,提出一种多级特征对齐 Transformer,以补充非几何面部细节特征并解决空间特征的对齐难题。进一步,我们设计了一种基于 StyleGAN 的去表情模型,以降低 GaFET 在非配对“野外”图像上的学习难度。大量定性及定量实验表明,与 SOTA 方法相比,我们实现了更高质量且更精确的面部表情迁移结果,并展示了对多种姿态与复杂纹理的适用性。此外,该方法无需视频或标注训练数据,更易使用与泛化。
引用
@article{arxiv.2308.03413,
title = {GaFET: Learning Geometry-aware Facial Expression Translation from In-The-Wild Images},
author = {Tianxiang Ma and Bingchuan Li and Qian He and Jing Dong and Tieniu Tan},
journal= {arXiv preprint arXiv:2308.03413},
year = {2023}
}
备注
Accepted by ICCV2023