Head360：学习用于 360° 自由视角合成的参数化全头模型
计算机视觉与模式识别
2024-08-02 v1
摘要
创建 360° 参数化头部模型是一项非常具有挑战性的任务。虽然最近的研究表明，利用合成数据构建此类参数化头部模型是有效的，但在表情驱动动画、发型编辑和基于文本的修改等任务中，其性能仍有不足。在本文中，我们构建了一个由人类设计师设计的高质量头部数据集，并据此提出了一种新颖的参数化 360° 可渲染头部模型。我们的方案将面部运动/形状与面部外观解耦，分别由经典参数化网格模型和附加的神经纹理表示。我们提出了一种训练方法，用于解耦发型和面部外观，从而实现发型的自由替换。我们还提出了一种新颖的基于单张图像的拟合方法，具有高度的泛化性和准确性。据我们所知，我们的模型是首个能够在一个模型内实现 360° 自由视角合成、外观拟合、外观编辑和动画的参数化 3D 全头模型。实验表明，我们的模型能够很好地解耦面部运动和外观，并在渲染质量和动画质量方面达到了最先进的性能。代码和 SynHead100 数据集已在 https://nju-3dv.github.io/projects/Head360 发布。
引用
@article{arxiv.2408.00296,
title = {Head360: Learning a Parametric 3D Full-Head for Free-View Synthesis in 360{\deg}},
author = {Yuxiao He and Yiyu Zhuang and Yanwen Wang and Yao Yao and Siyu Zhu and Xiaoyu Li and Qi Zhang and Xun Cao and Hao Zhu},
journal= {arXiv preprint arXiv:2408.00296},
year = {2024}
}
备注
ECCV 2024