故事到动作：基于长文本合成无限且可控的角色动画

从故事生成自然的人体运动有潜力改变动画、游戏与影视行业的格局。当角色需要根据长文本描述移动到不同位置并执行特定动作时，一项新颖且富有挑战性的任务——故事到动作（Story-to-Motion）——便应运而生。该任务要求融合底层控制（轨迹）与高层控制（运动语义）。先前在角色控制与文本到动作方面的研究已涉及相关方面，但全面的解决方案仍难以实现：角色控制方法不处理文本描述，而文本到动作方法缺乏位置约束且常产生不稳定运动。鉴于这些局限，我们提出了一种新颖系统，可生成与输入文本对齐的可控、无限长运动与轨迹。（1）我们利用当代大语言模型（Large Language Models）作为文本驱动的运动调度器，从长文本中提取一系列（文本，位置，时长）对。（2）我们开发了结合运动匹配与运动语义及轨迹约束的文本驱动运动检索方案。（3）我们设计了一种渐进式掩码Transformer，以解决过渡运动中诸如不自然姿态与脚部滑动等常见伪影。我们的系统作为故事到动作的首个全面解决方案具有开创性意义，并在三项不同子任务上接受评估：轨迹跟随、时序动作组合与运动混合，其在所有任务上均优于以往的SOTA运动合成方法。主页：https://story2motion.github.io/。