基于单目视频的高保真神经人体运动迁移

基于视频的人体运动迁移可生成遵循源运动的人体视频动画。现有方法对紧身着装主体已展现出色效果。然而，对合理衣物动力学（包括精细与高频细节）缺乏时间一致性处理，严重限制了可达的视觉质量。我们在文献中首次解决这些局限，提出一个新框架，可对多种宽松服饰实现高保真且时间一致的人体运动迁移，并带有自然的依赖于姿态的非刚性形变。与先前技术不同，我们分三个相继阶段生成图像，分别合成人体形状、结构与外观。给定演员的单目 RGB 视频，我们训练一栈循环深度神经网络，由 2D 姿态及其时间导数生成这些中间表示。将困难的动作迁移问题拆分为感知时间运动上下文的子任务，有助于我们合成具合理动力学与姿态相关细节的结果，也允许通过操控各框架阶段对结果进行艺术控制。实验中，我们在视频真实感上显著优于当前最优（SOTA）。我们的代码与数据将公开提供。