JGHand：基于 3D 高斯溅射的关节驱动可动画手部化身
计算机视觉与模式识别
2025-02-03 v1
摘要
由于手部是日常交互中的主要界面，对高质量数字人手进行建模并渲染逼真图像是一项关键的研究课题。此外，考虑到交互与渲染应用的需求，在不牺牲渲染质量的前提下实现数字模型的实时渲染与可驱动性至关重要。为此，我们提出联合 3D 高斯手部模型（Jointly 3D Gaussian Hand, JGHand），一种新颖的基于 3D 高斯溅射（3D Gaussian Splatting, 3DGS）的关节驱动手部表示方法，可针对多种姿态与角色实时渲染高保真手部图像。与现有的关节式神经渲染技术不同，我们引入了一种基于 3D 关键点的可微分空间变换过程。该过程支持从标准模板到具有任意骨骼长度与姿态的网格的形变。此外，我们提出了一种基于逐像素深度的实时阴影模拟方法，以模拟由手指运动引起的自遮挡阴影。最后，我们嵌入手部先验，并提出了一种仅由 3D 关键点驱动的可动画 3DGS 手部表示方法。我们通过全面的消融研究验证了所提方法各组成部分的有效性。在公开数据集上的实验结果表明，JGHand 在保持实时渲染速度的同时提升了渲染质量，超越了当前最优方法。
引用
@article{arxiv.2501.19088,
title = {JGHand: Joint-Driven Animatable Hand Avater via 3D Gaussian Splatting},
author = {Zhoutao Sun and Xukun Shen and Yong Hu and Yuyou Zhong and Xueyang Zhou},
journal= {arXiv preprint arXiv:2501.19088},
year = {2025}
}