UniHand：面向多样化受控4D手部运动建模的统一模型
计算机视觉与模式识别
2026-02-26 v1
摘要
手部运动在人类交互中扮演核心角色，然而对逼真的4D手部运动（即随时间变化的3D手部姿态序列）进行建模仍然具有挑战性。该领域的研究通常分为两个任务：(1) 估计方法从视觉观察中重建精确运动，但在手部遮挡或缺失时常常失败；(2) 生成方法侧重于通过利用多模态结构化输入下的生成先验以及从不完整序列中填充运动来合成手部姿态。然而，这种分离不仅限制了实践中经常出现的异构条件信号的有效使用，也阻碍了两个任务之间的知识迁移。我们提出了UniHand，一个统一的基于扩散的框架，将估计和生成都表述为条件运动合成。UniHand通过联合变分自编码器将结构化信号嵌入到共享潜在空间中，从而整合异构输入，该编码器对齐诸如MANO参数和2D骨架等条件。视觉观察通过冻结的视觉主干进行编码，而专门的手部感知器直接从图像特征中提取手部特定线索，消除了复杂的检测和裁剪流程的需求。然后，一个潜在扩散模型从这些多样化的条件中合成一致的运动序列。在多个基准上的大量实验表明，UniHand提供了鲁棒且准确的手部运动建模，在严重遮挡和时间上不完整的输入下仍能保持性能。
引用
@article{arxiv.2602.21631,
title = {UniHand: A Unified Model for Diverse Controlled 4D Hand Motion Modeling},
author = {Zhihao Sun and Tong Wu and Ruirui Tu and Daoguo Dong and Zuxuan Wu},
journal= {arXiv preprint arXiv:2602.21631},
year = {2026}
}