FUSION：基于扩散模型的全身统一运动先验（含手部）
计算机视觉与模式识别
2026-01-08 v1
摘要
手部是与我们的周围环境进行交互并传递手势的关键因素，因而其纳入对于全身运动合成至关重要。尽管如此，现有的运动合成方法仍有不足：有的完全忽略手部运动，而有的仅在高度受限的特定任务下生成全身运动。一个关键障碍是缺乏大规模数据集，能够同时捕捉多样化的全身运动与详细的手部姿态。虽然有些数据集同时捕捉手部与身体运动，但规模和多样性有限。相反，大规模数据集通常只关注身体运动或手部运动。为克服这一问题，我们整合现有的手部运动数据集与大规模身体运动数据，生成包含手部与身体的全身运动序列。我们提出了首个基于扩散模型的无条件全身运动先验模型FUSION，联合建模身体与手部运动。尽管采用姿态表示，FUSION 在 HumanML3D 数据集上的关键点跟踪任务中超越了最新的骨骼控制模型，并实现更自然的运动。除标准基准测试外，我们展示了FUSION 能否超越运动先验的典型用途的两个应用：（1）给定物体运动生成包含手指在内的详细全身运动；（2）使用 LLM 将自然语言线索转化为可执行运动约束，以生成自交运动。对于这些应用，我们开发了优化管道，以细化扩散模型的潜在空间，以生成任务特定的运动。这些实验突出了对手部运动的精确控制，同时保持全身协调的合理性。代码将公开。
引用
@article{arxiv.2601.03959,
title = {FUSION: Full-Body Unified Motion Prior for Body and Hands via Diffusion},
author = {Enes Duran and Nikos Athanasiou and Muhammed Kocabas and Michael J. Black and Omid Taheri},
journal= {arXiv preprint arXiv:2601.03959},
year = {2026}
}