IFaceUV：基于UV映射身份保持的直观运动面部图像生成
计算机视觉与模式识别
2023-06-09 v1
摘要
面部图像重演是一项重要任务，具有众多应用。我们提出 IFaceUV，一种充分可微的流水线，恰当地结合2D与3D信息以执行面部重演任务。三维可变形人脸模型（3DMMs）及相应的UV映射分别用于直观控制面部运动与纹理。基于2D图像变形的二维技术被进一步用于补偿3DMMs缺失的组件，如背景、耳朵、头发等。在我们的流水线中，首先从源图像与目标图像提取3DMM参数及相应UV映射。然后，初始UV映射由UV映射精炼网络细化，并随运动操控后的3DMM参数渲染为图像。同时，我们根据2D变形网络获得的2D流场对源图像进行变形。渲染图像与变形图像在最终编辑网络中结合以生成最终重演图像。此外，我们将模型用于音频驱动面部重演任务进行测试。大量定性与定量实验表明，与其他最先进方法相比，我们的方法具有卓越性能。
引用
@article{arxiv.2306.04957,
title = {IFaceUV: Intuitive Motion Facial Image Generation by Identity Preservation via UV map},
author = {Hansol Lee and Yunhoe Ku and Eunseo Kim and Seungryul Baek},
journal= {arXiv preprint arXiv:2306.04957},
year = {2023}
}