FED-NeRF：在动态 NeRF 上实现人脸视频编辑的高 3D 一致性与时间连贯性
计算机视觉与模式识别
2024-01-08 v1
摘要
GAN-NeRF 结构的成功使得基于 NeRF 的人脸编辑能够保持 3D 视角一致性。然而，在编辑视频序列时同时实现多视角一致性和时间连贯性仍然是一个巨大的挑战。本文提出了一种建立在动态人脸 GAN-NeRF 结构之上的新型人脸视频编辑架构，该架构有效利用视频序列来恢复潜在代码和 3D 人脸几何形状。通过编辑潜在代码，可以确保人脸的多视角一致性编辑，这一点已通过我们动态 NeRF 中对生成的编辑图像进行的多视角立体重建得到验证。由于人脸几何形状的估计是逐帧进行的，这可能会引入抖动问题。我们提出了一种稳定器，通过保持连续帧中人脸表情的平滑变化来维持时间连贯性。定量和定性分析表明，我们的方法作为开创性的 4D 人脸视频编辑器，与现有独立处理身份和运动的 2D 或 3D 方法相比，实现了最先进的性能。代码将开源。
引用
@article{arxiv.2401.02616,
title = {FED-NeRF: Achieve High 3D Consistency and Temporal Coherence for Face Video Editing on Dynamic NeRF},
author = {Hao Zhang and Yu-Wing Tai and Chi-Keung Tang},
journal= {arXiv preprint arXiv:2401.02616},
year = {2024}
}
备注
Our code will be available at: https://github.com/ZHANG1023/FED-NeRF