用于实时动态手部重建的 3D 点泼溅技术
计算机视觉与模式识别
2023-12-22 v1
摘要
我们提出了 3D 点泼溅手部重建（3D-PSHR），这是一种实时且照片级真实的手部重建方法。我们提出了一种自适应规范点上采样策略，以实现高分辨率的手部几何表示。随后是一种自适应形变，将手部从规范空间形变至目标姿态，适应规范点的动态变化；与细分 MANO 模型的常规做法相比，该方法提供了更大的灵活性并实现了更优的几何拟合。为了建模纹理，我们将外观颜色解耦为本征反照率和姿态感知阴影，并通过上下文注意力模块进行学习。此外，我们的方法允许几何模型和外观模型以端到端的方式同时训练。我们证明，该方法能够利用多个数据集生成可动画、照片级真实且可重光照的手部重建结果，这些数据集包括用手持智能手机拍摄的单目视频以及包含各种手部姿态的大规模多视角视频。我们还证明，我们的方法在实现实时渲染速度的同时，性能优于现有的最先进方法。
引用
@article{arxiv.2312.13770,
title = {3D Points Splatting for Real-Time Dynamic Hand Reconstruction},
author = {Zheheng Jiang and Hossein Rahmani and Sue Black and Bryan M. Williams},
journal= {arXiv preprint arXiv:2312.13770},
year = {2023}
}