UniHands: 统一各类野外采集关键点用于个性化手部重建
计算机视觉与模式识别
2024-11-19 v1 人机交互
摘要
精确的手部动作捕捉和标准化的 3D 表示对于各种手部相关任务至关重要。仅收集关键点数据虽然高效且成本效益高，但会导致低保真度的表示且缺乏表面信息。此外，不同来源之间的数据不一致性给它们的整合与使用带来了挑战。我们提出了 UniHands，一种从不同来源的野外采集关键点创建标准化且个性化手部模型的新方法。与现有的神经隐式表示方法不同，UniHands 使用了广泛采用的参数化模型 MANO 和 NIMBLE，提供了更具可扩展性和通用性的解决方案。它还从网格中导出统一的手部关节，这有助于无缝集成到各种手部相关任务中。在 FreiHAND 和 InterHand2.6M 数据集上的实验证明了其精确重建手部网格顶点和关键点的能力，有效捕捉了高自由度的关节运动。涉及九名参与者的实证研究表明，在准确性和自然度方面，用户明显偏好我们的统一关节配置，而非现有配置（p 值 0.016）。
引用
@article{arxiv.2411.11845,
title = {UniHands: Unifying Various Wild-Collected Keypoints for Personalized Hand Reconstruction},
author = {Menghe Zhang and Joonyeoup Kim and Yangwen Liang and Shuangquan Wang and Kee-Bong Song},
journal= {arXiv preprint arXiv:2411.11845},
year = {2024}
}