基于运动程序的分层运动理解

当前人体运动视频分析的方法以原始像素或关键点作为推理的基本单元。我们主张，引入更高层次的运动基元（可捕捉如后摆或随挥等自然的较粗粒度运动单元）可用于改进下游分析任务。这种更高层次的抽象还能捕捉关键特征，例如重复基元的循环，而这些特征在较低层次的表示中目前无法获取。因此我们提出运动程序（Motion Programs），一种神经符号的、类程序的表示，将运动表达为高层基元的组合。我们还提出一个系统，用于从人体运动视频中自动归纳运动程序，并在视频合成中利用运动程序。实验表明，运动程序能准确描述多样化的人体运动，且推断出的程序包含具有语义意义的运动基元，如摆臂和开合跳。我们的表示还有益于视频插值和视频预测等下游任务，并优于现成模型。我们进一步展示了这些程序如何检测多种重复运动并辅助交互式视频编辑。