HeadCraft:为动画 3DMM 建模高细节形状变化
计算机视觉与模式识别
2025-02-03 v2
摘要
当前人头建模的进展允许通过神经表示(如 NeRF 和 SDF)生成外观合理的 3D 头部模型。然而,构建具有显式控制动画功能的完整高保真头部模型仍然是一个问题。此外,基于部分观测(例如来自深度传感器的观测)补全头部几何结构,同时保持高水平细节,对于现有方法而言往往存在困难。我们提出了一种基于关节化 3DMM 的详细 3D 头部网格生成模型,同时支持显式动画和高细节保留。我们的方法分两个阶段训练。首先,我们将带有顶点位移的参数化头部模型配准到最近推出的 NPHM 数据集中的每个精确 3D 头部扫描网格上。估计的位移被烘焙到手工设计的 UV 布局中。其次,我们训练一个 StyleGAN 模型以泛化这些位移 UV 图,我们将其称为 HeadCraft。参数化模型与高质量顶点位移的分解使我们能够动画化模型并语义地修改区域。我们展示了无条件采样、拟合扫描以及编辑的结果。项目页面位于 https://seva100.github.io/headcraft。
引用
@article{arxiv.2312.14140,
title = {HeadCraft: Modeling High-Detail Shape Variations for Animated 3DMMs},
author = {Artem Sevastopolsky and Philip-William Grassal and Simon Giebenhain and ShahRukh Athar and Luisa Verdoliva and Matthias Niessner},
journal= {arXiv preprint arXiv:2312.14140},
year = {2025}
}
备注
2nd version includes updated method and results. Project page: https://seva100.github.io/headcraft. Video: https://youtu.be/uBeBT2f1CL0. 24 pages, 21 figures, 3 tables