HeadNeRF：一种基于 NeRF 的实时参数化头部模型
计算机视觉与模式识别
2022-05-03 v3
摘要
在本文中，我们提出 HeadNeRF，一种新颖的基于 NeRF 的参数化头部模型，它将神经辐射场集成到人体头部的参数化表示中。它能在现代 GPU 上实时渲染高保真头部图像，并支持直接控制生成图像的渲染姿态和各种语义属性。与现有的相关参数化模型不同，我们使用神经辐射场作为新颖的 3D 代理，而非传统的 3D 纹理网格，这使得 HeadNeRF 能够生成高保真图像。然而，原始 NeRF 计算昂贵的渲染过程阻碍了参数化 NeRF 模型的构建。为解决此问题，我们采用将 2D 神经渲染集成到 NeRF 渲染过程中的策略，并设计了新颖的损失项。结果，HeadNeRF 的渲染速度可显著加快，单帧渲染时间从 5 秒减少到 25 毫秒。精心设计的损失项也提高了渲染精度，人体头部的精细细节（如牙齿间的缝隙、皱纹和胡须）可由 HeadNeRF 表示并合成。大量实验结果和若干应用证明了其有效性。训练好的参数化模型可在 https://github.com/CrisHY1995/headnerf 获取。
引用
@article{arxiv.2112.05637,
title = {HeadNeRF: A Real-time NeRF-based Parametric Head Model},
author = {Yang Hong and Bo Peng and Haiyao Xiao and Ligang Liu and Juyong Zhang},
journal= {arXiv preprint arXiv:2112.05637},
year = {2022}
}
备注
Accepted by CVPR2022. Project page: https://crishy1995.github.io/HeadNeRF-Project/