NeRFInvertor：面向单图真实图像动画的高保真 NeRF-GAN 反演方法
计算机视觉与模式识别
2022-12-01 v1
摘要
基于 NeRF 的生成模型在生成具有一致三维几何结构的高质量图像方面已展现出令人印象深刻的潜力。尽管从潜空间中随机采样合成虚假身份图像取得了成功，但由于所谓的反演问题，将这些模型用于生成真实主体的面部图像仍是一项具有挑战性的任务。本文提出一种通用方法，通过手术式微调这些 NeRF-GAN 模型，仅使用单张图像即可实现真实主体的高保真动画。对于给定的域外真实图像的优化潜码，我们在渲染图像上采用 2D 损失函数以缩小身份差距。此外，我们的方法利用围绕优化潜码的定义域内邻域样本，进行显式与隐式的 3D 正则化，以消除几何与视觉伪影。我们的实验在多个数据集上的不同 NeRF-GAN 模型中，证实了该方法在真实、高保真且具 3D 一致性的真实人脸动画方面的有效性。
引用
@article{arxiv.2211.17235,
title = {NeRFInvertor: High Fidelity NeRF-GAN Inversion for Single-shot Real Image Animation},
author = {Yu Yin and Kamran Ghasedi and HsiangTao Wu and Jiaolong Yang and Xin Tong and Yun Fu},
journal= {arXiv preprint arXiv:2211.17235},
year = {2022}
}