面向高保真头像场景的新视角合成
计算机视觉与模式识别
2022-06-01 v1
摘要
从任意视角渲染具有高质量人脸的场景是许多实际应用的实用且有用的技术。近来，神经辐射场（NeRF）——一种使用神经网络逼近经典光线追踪的渲染技术——被视为从稀疏图像集合成新视角的有前景的方法之一。我们发现 NeRF 能够渲染新视角并保持几何一致性，但未能恰当保留皮肤细节，如痣和毛孔。这些细节对人脸尤为重要，因为当我们观看人脸图像时，比其他物体对细节敏感得多。另一方面，基于传统网格与纹理的三维可变形模型（3DMMs）在皮肤细节上表现良好，尽管其几何精度较低且无法覆盖头部及带背景的整个场景。基于这些观察，我们提出一种结合 NeRF 与 3DMM 来合成含人脸场景高保真新视角的方法。我们的方法学习一个生成对抗网络（GAN）来混合 NeRF 合成图像与 3DMM 渲染图像，生成保留皮肤细节的逼真人脸场景。在多种真实场景上的实验证明了我们方法的有效性。代码将发布于 https://github.com/showlab/headshot 。
引用
@article{arxiv.2205.15595,
title = {Novel View Synthesis for High-fidelity Headshot Scenes},
author = {Satoshi Tsutsui and Weijia Mao and Sijing Lin and Yunyi Zhu and Murong Ma and Mike Zheng Shou},
journal= {arXiv preprint arXiv:2205.15595},
year = {2022}
}