面向运动重定向的流引导可变形瓶颈网络

人体运动重定向旨在将“驱动”视频或图像集中的人物运动迁移到另一人物上。现有方法利用每位目标人物的长训练视频来训练特定主体的运动迁移模型。然而,这类方法的可扩展性有限,因为每个模型只能为给定目标主体生成视频,且此类训练视频的获取与处理耗时费力。仅需要目标人物一张或少数几张图像的少样本运动迁移技术近来受到广泛关注。解决该任务的方法通常使用 2D 或显式 3D 表示来迁移运动,但这样做要么牺牲精确的几何建模,要么牺牲端到端学习表示的灵活性。受可变形瓶颈网络(该网络可渲染刚体对象的新视角与操控)的启发,我们提出了一种基于图像内容隐式体素表示的方法,该表示随后可利用体素流场进行空间操控。我们解决了如何跨不同身体姿态聚合信息这一具有挑战性的问题,学习出流场,使得能够将执行复杂运动的高度非刚体人物输入图像中适当区域的内容组合进单一的隐式体素表示。这使我们仅从运动人物的视频中学习到我们的 3D 表示。兼具 3D 对象理解与端到端学习渲染,这一全新类别的表示带来了最先进的图像生成质量,正如我们的定量与定性评估所示。