基于野外姿态的人体运动迁移
计算机视觉与模式识别
2020-04-08 v1
摘要
在本文中，我们解决了人体运动迁移问题，即为目标人物合成模仿参考视频中动作的新运动视频。这是一项视频到视频的翻译任务，其中估计的姿态被用于桥接两个域。尽管该主题已取得实质性进展，先前方法仍存在若干问题。首先，训练与测试姿态序列之间存在域差距——模型在测试时遇到训练期间未见的姿态，例如高难度舞蹈动作。此外，姿态检测错误不可避免，使得生成器的工作更加困难。最后，从稀疏姿态一步生成逼真像素具有挑战性。为应对这些挑战，我们提出了一种新颖的姿态到视频翻译框架，用于生成高质量且时间连贯的视频，即便对于训练期间未见的野外姿态序列也是如此。我们提出了一种姿态增强方法以最小化训练-测试差距，一种统一的成对与非成对学习策略以提高对检测错误的鲁棒性，以及一种两阶段网络架构以实现更优的纹理质量。为进一步推动该主题的研究，我们构建了两个人体运动数据集。最后，通过在多个不同数据集上的大量实验与评估，我们展示了我们的方法优于最先进（SOTA）研究。
引用
@article{arxiv.2004.03142,
title = {Human Motion Transfer from Poses in the Wild},
author = {Jian Ren and Menglei Chai and Sergey Tulyakov and Chen Fang and Xiaohui Shen and Jianchao Yang},
journal= {arXiv preprint arXiv:2004.03142},
year = {2020}
}