HandX:扩展双手运动与交互生成
计算机视觉与模式识别
2026-03-31 v1
摘要
人体运动合成技术发展迅速,但真实的手部运动和双手交互仍未得到充分探索。全身模型常常遗漏驱动灵巧行为、手指关节运动、接触时机和双手协调的细粒度线索,现有资源也缺乏能够捕捉精细手指动态和协作的高保真双手序列。为填补这一空白,我们提出了HandX,一个涵盖数据、标注和评估的统一基础框架。我们整合和筛选现有数据集以保证质量,并收集了一个新的动作捕捉数据集,针对代表性不足的双手交互进行精细手指动态建模。为了实现可扩展的标注,我们引入了一种解耦策略,提取代表性运动特征(如接触事件和手指屈曲),然后利用大语言模型的推理能力生成与这些特征对齐的细粒度、语义丰富的描述。基于所得到的数据和标注,我们对扩散模型和自回归模型进行了多条件模式的基准测试。实验表明,我们新提出的手部专用指标支持高质量的灵巧运动生成。我们还观察到了明显的扩展趋势:在更大、更高质量数据集上训练的更大模型能够生成更具语义一致性的双手运动。我们的数据集已发布,以支持未来研究。
引用
@article{arxiv.2603.28766,
title = {HandX: Scaling Bimanual Motion and Interaction Generation},
author = {Zimu Zhang and Yucheng Zhang and Xiyan Xu and Ziyin Wang and Sirui Xu and Kai Zhou and Bing Zhou and Chuan Guo and Jian Wang and Yu-Xiong Wang and Liang-Yan Gui},
journal= {arXiv preprint arXiv:2603.28766},
year = {2026}
}
备注
CVPR 2026. Project Page: https://handx-project.github.io. Code: https://github.com/handx-project/HandX