基于 NeRF 与网格光栅化混合方案的 3D 人脸风格迁移
计算机视觉与模式识别
2023-11-23 v1
摘要
人脸风格迁移近年来被广泛研究。现有多数方法在 2D 图像域工作，当应用于同一人脸的不同视角时存在 3D 不一致问题。本文中，我们解决 3D 人脸风格迁移问题，旨在生成具有多视角一致性的 3D 人脸风格化新视角。我们提出使用神经辐射场（NeRF）表示 3D 人脸，并将其与 2D 风格迁移结合以对 3D 人脸进行风格化。我们发现直接在 2D 风格迁移的风格化图像上训练 NeRF 会引入 3D 不一致问题并导致模糊。另一方面，将 NeRF 与 2D 风格迁移目标联合训练由于风格图像与内容图像间的身份和头部姿态差异而表现出较差收敛性。由于需要对全图进行体渲染以应用风格迁移损失函数，这也在训练时间与内存上带来挑战。因此我们提出 NeRF 与网格光栅化的混合框架，以结合 NeRF 高保真几何重建与网格快速渲染的优势。我们的框架包含三个阶段：1. 在输入人脸图像上训练 NeRF 模型以学习 3D 几何；2. 从训练好的 NeRF 模型提取网格并通过可微光栅化以风格迁移目标优化该网格；3. 在 NeRF 中训练以风格嵌入为条件的新颜色网络，以实现对任意风格的 3D 人脸迁移。实验结果表明，我们的方法生成高质量且具有优异 3D 一致性的脸风格迁移，同时支持灵活的风格控制。
引用
@article{arxiv.2311.13168,
title = {3D Face Style Transfer with a Hybrid Solution of NeRF and Mesh Rasterization},
author = {Jianwei Feng and Prateek Singhal},
journal= {arXiv preprint arXiv:2311.13168},
year = {2023}
}