面向二维运动重定向的字符无关运动学习
计算机视觉与模式识别
2019-05-13 v1
摘要
人体运动分析是一项具有广泛计算机视觉与图形学应用挑战性的任务。其中一个在计算机动画中尤为重要的应用是将运动从一个表演者重定向到另一个表演者。尽管人类在三维空间中运动，但绝大多数人体运动是使用视频捕获的，在应用现有重定向方法之前需要进行 2D 到 3D 姿态及相机恢复。本文提出一种在不同人体表演者之间重定向视频捕获运动的新方法，无需显式重建 3D 姿态和/或相机参数。为实现该目标，我们学习直接从视频中提取一种对骨架几何与相机视角不变的高层潜在运动表示。我们的核心思想是训练深度神经网络将 2D 姿态的时间序列分解为三个分量：运动、骨架与相机视角。提取此类表示后，我们能够将运动与新的骨架和相机视角重新组合，并解码出重定向的时间序列，进而与合成数据集中的真值进行比较。我们证明了我们的框架可鲁棒地从视频中提取人体运动，绕过 3D 重建，并在应用于野外视频时优于现有重定向方法。它还支持性能克隆、视频驱动卡通以及运动检索等额外应用。
引用
@article{arxiv.1905.01680,
title = {Learning Character-Agnostic Motion for Motion Retargeting in 2D},
author = {Kfir Aberman and Rundi Wu and Dani Lischinski and Baoquan Chen and Daniel Cohen-Or},
journal= {arXiv preprint arXiv:1905.01680},
year = {2019}
}
备注
SIGGRAPH 2019. arXiv admin note: text overlap with arXiv:1804.05653 by other authors