FNeVR：面向人脸动画的神经体渲染
计算机视觉与模式识别
2022-09-22 v1
摘要
人脸动画作为计算机视觉中最热门的课题之一，在生成模型的帮助下已取得令人瞩目的性能。然而，由于复杂的运动形变与精细的面部细节建模，生成保持身份且照片级真实的图像仍是一项关键挑战。为解决这些问题，我们提出人脸神经体渲染（FNeVR）网络，在统一框架中充分挖掘 2D 运动扭曲与 3D 体渲染的潜力。在 FNeVR 中，我们设计 3D 人脸体渲染（FVR）模块以增强图像渲染的面部细节。具体而言，我们首先以精心设计的架构提取 3D 信息，随后引入正交自适应光线采样模块以实现高效渲染。我们还设计了一个轻量级姿态编辑器，使 FNeVR 能以简单而有效的方式编辑面部姿态。大量实验表明，我们的 FNeVR 在广泛使用的说话头基准上取得了最佳的整体质量与性能。
引用
@article{arxiv.2209.10340,
title = {FNeVR: Neural Volume Rendering for Face Animation},
author = {Bohan Zeng and Boyu Liu and Hong Li and Xuhui Liu and Jianzhuang Liu and Dapeng Chen and Wei Peng and Baochang Zhang},
journal= {arXiv preprint arXiv:2209.10340},
year = {2022}
}