像我们一样做：多人视频到视频迁移
计算机视觉与模式识别
2021-04-13 v1
摘要
我们的目标是将真实人物从源视频中的动作以逼真的结果迁移到目标视频。尽管近期进展显著改进了图像到图像的翻译，但仅有少数工作考虑身体运动与时间一致性。然而，这些工作仅关注单一演员的视频重定向。在本工作中，我们提出一种基于姿态作为中间表示的无标记多人视频到视频迁移方法。给定一段包含多人跳舞或锻炼的源视频，我们的方法将所有演员的身体运动迁移到另一视频中一组新的演员上。与近期的“像我做”（do as I do）方法不同，我们专门关注同时迁移多人并解决相关的身份切换问题。我们的方法能够将身体运动令人信服地迁移到目标视频，同时保留目标视频的特定特征，例如脚接触地面以及演员间的相对位置。评估使用视觉质量与外观指标，在获得所有者许可的公开可用视频上进行。
引用
@article{arxiv.2104.04721,
title = {Do as we do: Multiple Person Video-To-Video Transfer},
author = {Mickael Cormier and Houraalsadat Mortazavi Moshkenan and Franz Lörch and Jürgen Metzler and Jürgen Beyerer},
journal= {arXiv preprint arXiv:2104.04721},
year = {2021}
}
备注
Accepted to IEEE MIPR 2021