3DFlowRenderer：基于稠密 3D 人脸流估计的一键式人脸再演绎
计算机视觉与模式识别
2024-04-24 v1
摘要
在研究社区中, 人脸表达迁移的单次设置正在受到关注, 侧重于精确控制表达. 现有技术在表现表达方面呈现出引人注目的效果, 但在极端头部姿态下缺乏鲁棒性. 它们还难以准确重建背景细节, 从而阻碍了真实感. 本文提出一种新型的变形技术, 将 2D 和 3D 方法的优势相结合, 实现稳健的人脸再演绎. 我们在特征空间中生成稠密 3D 人脸流场, 以无深度信息的方式对输入图像进行变形以适应目标表达. 这实现了对再演绎不对齐的源人脸和目标人脸的显式 3D 几何控制. 通过提出的“循环变形损失”将变形后的 3D 特征转换回 2D RGB 空间, 来正则化 3D 流预测网络的运动估计能力. 为确保生成具有自然背景的细节 facial 区域, 我们的框架首先仅渲染 facial 前景区域, 并学习填充因源人脸平移而需要填充的空白区域, 从而在无任何不需要的像素运动的情况下重建详细背景. 大量评估表明, 本方法在生成无渲染瑕疵的人脸图像方面优于最先进的技术.
引用
@article{arxiv.2404.14667,
title = {3DFlowRenderer: One-shot Face Re-enactment via Dense 3D Facial Flow Estimation},
author = {Siddharth Nijhawan and Takuya Yashima and Tamaki Kojima},
journal= {arXiv preprint arXiv:2404.14667},
year = {2024}
}