REMOT：一种用于真实人体运动迁移的区域到整体框架
计算机视觉与模式识别
2022-09-02 v1
摘要
人体视频运动迁移（HVMT）旨在给定源人物的一张图像，生成其模仿驱动人物运动的视频。现有的 HVMT 方法主要利用生成对抗网络（GANs）基于从源人物图像和每个驱动视频帧估计的光流执行扭曲操作。然而，由于源人物与驱动人物之间姿态、尺度和位移的显著差异，这些方法总是产生明显的伪影。为克服这些挑战，本文提出一种基于 GANs 的新颖区域到整体人体运动迁移（REMOT）框架。为生成真实运动，REMOT 采用渐进式生成范式：它首先在无基于流的扭曲下生成驱动姿态下的各身体部位，然后将所有部位合成为驱动运动的完整人物。此外，为保持自然的全局外观，我们设计全局对齐模块以基于源人物与驱动人物的布局将其尺度和位置对齐。进一步，我们提出纹理对齐模块以根据纹理相似性保持人物各部位对齐。最后，通过大量定量与定性实验，我们的 REMOT 在两个公开基准上取得了最先进的结果。
引用
@article{arxiv.2209.00475,
title = {REMOT: A Region-to-Whole Framework for Realistic Human Motion Transfer},
author = {Quanwei Yang and Xinchen Liu and Wu Liu and Hongtao Xie and Xiaoyan Gu and Lingyun Yu and Yongdong Zhang},
journal= {arXiv preprint arXiv:2209.00475},
year = {2022}
}
备注
10 pages, 5 figures. Accepted by ACMMM2022