场景驱动的人类运动生成系统——Sitcom-Crafter

近期的人类运动合成研究聚焦于特定运动类型，如人机交互、 locomotion 或人机互动，但缺乏能够生成多样化运动组合的统一系统。为此，本文引入 Sitcom-Crafter，一个用于 3D 空间中人类运动生成的综合且可扩展系统，可依据丰富的情节上下文引导，以提升动漫和游戏设计师的工作效率。系统由八个模块构成，其中三模块专注于运动生成，其余五模块为保证运动序列融合与系统功能而设。生成模块的核心是我们 novel 的 3D 场景感知的人机互动模块，通过合成运动空间周围的隐式 3D 有符号距离函数 (SDF) 点来解决碰撞问题，从而在无需额外数据采集的情况下最小化人物与场景的碰撞。此外， locomotion 与人机交互模块借助现有方法丰富了系统的运动生成能力。增强模块包括情节理解用于指令生成、运动同步用于不同运动类型的无缝集成、手部姿态检索以提升运动真实性、运动碰撞修正用于防止人物碰撞以及 3D 重定向以确保视觉保真度。实验评估表明，该系统能够生成高质量、多样且具物理真实性的运动，凸显其在推动创意工作流程方面的潜力。项目页面：https://windvchen.github.io/Sitcom-Crafter。