NeRFlame：基于 FLAME 的 NeRF 条件化用于三维人脸渲染
计算机视觉与模式识别
2023-11-28 v2
摘要
传统的三维人脸模型基于带纹理的网格表示。其中最重要的模型之一是 FLAME（Faces Learned with an Articulated Model and Expressions），它能生成完全可控的人脸网格。遗憾的是，此类模型在捕捉几何与外观细节方面存在不足。与网格表示相反，神经辐射场（NeRF）能生成极其清晰的图像。然而，隐式方法难以驱动动画，且对未见过的表情泛化能力较差。有效操控 NeRF 模型以实现人脸编辑并非易事。本文提出一种名为 NeRFlame 的新方法，它结合了 NeRF 与 FLAME 两种方法的优势。我们的方法在具备 NeRF 高质量渲染能力的同时，也提供了类似于 FLAME 的对视觉外观的完全控制。与使用神经网络建模 RGB 颜色和体密度的传统基于 NeRF 的结构不同，我们的方法利用 FLAME 网格作为独立的密度体。因此，颜色值仅存在于 FLAME 网格附近。该 FLAME 框架被无缝集成到 NeRF 架构中以预测 RGB 颜色，使我们的模型能够显式表示体密度并隐式捕捉 RGB 颜色。
引用
@article{arxiv.2303.06226,
title = {NeRFlame: FLAME-based conditioning of NeRF for 3D face rendering},
author = {Wojciech Zając and Joanna Waczyńska and Piotr Borycki and Jacek Tabor and Maciej Zięba and Przemysław Spurek},
journal= {arXiv preprint arXiv:2303.06226},
year = {2023}
}