NARRATE：一种法线辅助的自由视角人像风格化器

在本文中，我们提出 NARRATE，一种能够以逼真方式同时编辑人像光照和视角的新型流水线。作为混合神经-物理人脸模型，NARRATE 利用了几何感知生成方法与法线辅助物理人脸模型的互补优势。简而言之，NARRATE 首先将输入人像反演为粗几何，并采用神经渲染生成与输入相似的图像，以及产生令人信服的姿势变化。然而，反演步骤引入了失配，带来面部细节较少的低质量图像。因此，我们进一步估计人像法线以增强粗几何，创建高保真物理人脸模型。特别地，我们融合神经与物理渲染以补偿不完美的反演，从而得到逼真且视角一致的新颖视角图像。在重光照阶段，先前工作聚焦于单视角人像重光照但忽略了不同视角间的一致性，导致视角变化时光照效果不稳定且不一致。我们将 Total Relighting 扩展以通过将其多视角输入法线贴图与物理人脸模型统一来解决此问题。NARRATE 使用一致法线贴图进行重光照，施加跨视角约束并展现稳定且连贯的照明效果。我们通过实验证明 NARRATE 相比先前工作取得了更逼真、可靠的结果。我们进一步将 NARRATE 与动画和风格迁移工具连接，支持姿势变化、光照变化、面部动画和风格迁移，可单独或组合进行，均达到照片级质量。我们展示了生动的自由视角面部动画以及 3D 感知的可重光照风格化，有助于促进各种 AR/VR 应用，如虚拟电影摄影、3D 视频会议和后期制作。