DPHMs:用于基于深度跟踪的扩散参数化头部模型
计算机视觉与模式识别
2024-04-09 v2
摘要
我们提出扩散参数化头部模型(DPHMs),一种生成式模型,能够从单目深度序列实现鲁棒的体积头部重建与跟踪。尽管近期的体积头部模型(如 NPHMs)已能够在表达高保真头部几何方面表现出色,但从真实世界的单视角深度序列跟踪与重建头部仍然极具挑战性,因为对部分且含噪观测的拟合是欠约束的。为应对这些挑战,我们提出一种基于潜在扩散的先验,用于正则化体积头部重建与跟踪。该基于先验的正则化器有效地将身份与表情编码约束在表示合理头部形状的底层潜在流形上。为评估基于扩散的先验的有效性,我们采集了一个由单目 Kinect 序列组成的数据集,其中包含各种复杂的面部表情运动和快速过渡。我们将我们的方法与最先进的跟踪方法进行比较,并展示了改进的头部身份重建以及鲁棒的表情跟踪。
引用
@article{arxiv.2312.01068,
title = {DPHMs: Diffusion Parametric Head Models for Depth-based Tracking},
author = {Jiapeng Tang and Angela Dai and Yinyu Nie and Lev Markhasin and Justus Thies and Matthias Niessner},
journal= {arXiv preprint arXiv:2312.01068},
year = {2024}
}
备注
CVPR 2024; homepage: https://tangjiapeng.github.io/projects/DPHMs/