Decaf：面向人脸与手部交互的单目形变捕捉
计算机视觉与模式识别
2023-10-16 v2 图形学
人机交互
摘要
现有的从单目RGB视频进行三维跟踪的方法主要考虑关节化和刚性物体。在此设定下对密集非刚性物体形变的建模迄今基本未被解决，尽管此类效应可提升AR/VR及虚拟形象通信等下游应用的真实感。这源于单目视图设定的严重不适定性及相关挑战。虽然可使用三维模板或参数化三维模型朴素地独立跟踪多个非刚性物体，但这种方法会在所得三维估计中产生多种伪影，如深度歧义、不自然的物体内碰撞以及缺失或不合理的形变。因此，本文提出首个解决上述根本挑战并允许从单目RGB视频三维跟踪人与人脸交互的方法。我们将手建模为在主动交互中引发人脸非刚性形变的关节化物体。我们的方法依赖于一个使用无标记多视角相机系统采集的、带有真实人脸形变的新的手-脸运动与交互捕捉数据集。在其构建的关键步骤中，我们使用基于位置的动力学和一种头部组织非均匀刚度估计方法来处理重建的原始三维形状，从而得到合理的表面形变、手-脸接触区域以及头-手位置标注。我们神经方法的核心是一个提供手-脸深度先验的变分自编码器，以及通过估计接触与形变来引导三维跟踪的模块。在定量与定性上，我们最终的三维手与脸重建相比本设定下可用的若干基线方法更真实、更合理。https://vcai.mpi-inf.mpg.de/projects/Decaf
引用
@article{arxiv.2309.16670,
title = {Decaf: Monocular Deformation Capture for Face and Hand Interactions},
author = {Soshi Shimada and Vladislav Golyanik and Patrick Pérez and Christian Theobalt},
journal= {arXiv preprint arXiv:2309.16670},
year = {2023}
}