用于视频中人物动作重定时的分层神经渲染

我们提出了一种对普通自然视频中的人物进行动作重定时（retiming）——即操控和编辑视频中不同个体动作发生时间——的方法。我们可以在时间上对齐不同的动作、改变某些动作的速度（加速/减速，或完全“冻结”人物），或彻底从视频中“擦除”选定的人物。我们通过一种专用的基于学习的分层视频表示在计算上实现这些效果，其中视频的每一帧被分解为独立的 RGBA 图层，表示视频中不同人物的外观。我们模型的一个关键特性是，它不仅解耦了输入视频中每个人的直接运动，还自动将每个人与其产生的场景变化相关联——例如阴影、反射以及宽松衣物的运动。这些图层可以被单独重定时并重新合成为新视频，使我们能够对描绘复杂动作且涉及多个个体的真实世界视频（包括跳舞、蹦床跳跃或群体跑步）实现逼真的、高质量的重定时效果渲染。