动作可否被模仿？从视频中学习重建与迁移人体动态
计算机视觉与模式识别
2021-07-27 v1 多媒体
摘要
给定一段视频演示，我们能否模仿该视频中所包含的动作？本文引入一项新任务，称为基于网格的动作模仿。该任务的目标是使任意目标人体网格执行视频演示中所展示的相同动作。为此，我们提出了一种新颖的基于网格的视频动作模仿（M-VAI）方法。M-VAI 首先从给定的源图像帧中学习重建网格，然后将初始恢复的网格序列输入 mesh2mesh（我们提出的一种网格序列平滑模块）以改善时间一致性。最后，我们通过将所构建人体上的姿态迁移到目标身份网格来实现动作模仿。使用我们的 M-VAI 可生成高质量且细节丰富的人体网格。大量实验证明了我们任务的可行性以及所提方法的有效性。
引用
@article{arxiv.2107.11756,
title = {Can Action be Imitated? Learn to Reconstruct and Transfer Human Dynamics from Videos},
author = {Yuqian Fu and Yanwei Fu and Yu-Gang Jiang},
journal= {arXiv preprint arXiv:2107.11756},
year = {2021}
}
备注
accpected by ICMR2021