物体运动引导的人体运动合成

在情境化环境中建模人类行为在角色动画、具身AI、VR/AR与机器人领域有广泛应用。在真实场景中，人类频繁与环境交互并操控各类物体以完成日常任务。本文研究大尺寸物体操控下的全身人体运动合成问题。我们提出物体运动引导的人体运动合成（OMOMO），一种条件扩散框架，可仅由物体运动生成全身操控行为。由于朴素地应用扩散模型无法精确强制手与物体间的接触约束，OMOMO学习两个独立的去噪过程：先从物体运动预测手部位置，再基于预测的手部位置合成全身姿态。通过以手部位置作为两去噪过程间的中间表示，我们可显式强制接触约束，从而得到物理上更合理的操控运动。借助所学模型，我们开发了一种新系统，仅通过将智能手机附着于被操控物体即可捕捉全身人体操控运动。通过大量实验，我们证明了所提流程的有效性及其对未见物体的泛化能力。此外，由于高质量人-物交互数据集稀缺，我们收集了一个包含三维物体几何、物体运动与人体运动的大规模数据集。该数据集涵盖15个物体的人-物交互运动，总时长约10小时。