如我所做：基于空间与时间约束的单目视频间人体运动与外观迁移

从真实演员的图像中创建可信的虚拟角色仍然是计算机视觉与计算机图形学中的关键挑战之一。在无标记的自然场景图像人体运动估计与形状建模使这一挑战尤为突出。尽管近期在视图合成与图像到图像翻译方面取得了进展，现有方法仅限于风格迁移，未考虑角色的运动与形状，而这两者本质上交织在一起才能产生可信的人体形态。本文提出一种统一的形式化方法，用于从单目视频中迁移外观并重定向人体运动，同时兼顾上述所有方面。我们的方法合成出人物处于与其初始录制时不同语境下的新视频。与近期外观迁移方法不同，我们的方法考虑了身体形状、外观与运动约束。评估通过使用包含困难条件的公开真实视频进行多项实验完成。我们的方法能够迁移人体运动与外观，优于最先进（SOTA）方法，同时保留必须保持的特定运动特征（例如脚接触地面、手接触特定物体），并取得最佳视觉质量与外观指标，如结构相似性（SSIM）与学习感知图像块相似度（LPIPS）。