姿态到运动：基于姿态先验的跨域运动重定向
计算机视觉与模式识别
2023-11-01 v1 图形学
机器学习
摘要
为各种角色创造可信的运动长期以来是计算机图形学的目标。当前基于学习的运动合成方法依赖于大量的运动数据集，而这些数据集通常难以获取，甚至不可能获取。另一方面，姿态数据更易获得，因为静态姿态角色更易创建，甚至可利用计算机视觉的最新进展从图像中提取。在本文中，我们利用这一替代数据源，并引入一种通过重定向的神经运动合成方法。我们的方法通过从另一角色（可具有截然不同的骨架）的现有动作捕捉数据集中迁移运动，为仅有姿态数据的角色生成合理运动。我们的实验表明，该方法有效地将源角色的运动特征与目标角色的姿态特征相结合，并能稳健地处理小型或有噪声的姿态数据集，范围从少量艺术家创建的姿态到直接从图像估计的噪声姿态。此外，一项用户研究表明，多数参与者认为我们的重定向运动更赏心悦目、外观更逼真且伪影更少。项目页面：https://cyanzhao42.github.io/pose2motion
引用
@article{arxiv.2310.20249,
title = {Pose-to-Motion: Cross-Domain Motion Retargeting with Pose Prior},
author = {Qingqing Zhao and Peizhuo Li and Wang Yifan and Olga Sorkine-Hornung and Gordon Wetzstein},
journal= {arXiv preprint arXiv:2310.20249},
year = {2023}
}
备注
Project page: https://cyanzhao42.github.io/pose2motion