基于可变形神经辐射场的一次性高保真说话头合成
计算机视觉与模式识别
2023-04-12 v1
摘要
说话头生成旨在生成保持源图像身份信息并模仿驱动图像运动的面部。多数开创性方法主要依赖 2D 表示，因此在遇到大幅头部旋转时不可避免地遭受面部扭曲。近期工作转而采用显式 3D 结构表示或隐式神经渲染以提升大姿态变化下的性能。然而，身份与表情的保真度尚不理想，尤其对于新视角合成。本文中，我们提出 HiDe-NeRF，其实现了高保真且自由视角的说话头合成。借鉴近期提出的可变形神经辐射场（Deformable Neural Radiance Fields），HiDe-NeRF 将 3D 动态场景表示为规范外观场与隐式形变场，前者包含规范源人脸，后者建模驱动姿态与表情。特别地，我们从两方面提升保真度：（i）为增强身份表现力，我们设计了一个广义外观模块，利用多尺度体特征保留面部形状与细节；（ii）为提高表情精确性，我们提出一个轻量形变模块，显式解耦姿态与表情以实现精确表情建模。大量实验表明，我们提出的方法能生成优于先前工作的结果。项目页面：https://www.waytron.net/hidenerf/
引用
@article{arxiv.2304.05097,
title = {One-Shot High-Fidelity Talking-Head Synthesis with Deformable Neural Radiance Field},
author = {Weichuang Li and Longhao Zhang and Dong Wang and Bin Zhao and Zhigang Wang and Mulin Chen and Bang Zhang and Zhongjian Wang and Liefeng Bo and Xuelong Li},
journal= {arXiv preprint arXiv:2304.05097},
year = {2023}
}
备注
Accepted by CVPR 2023