ProxyCap：基于以人为中心代理到运动学习在世界坐标系中的实时单目全身捕捉
计算机视觉与模式识别
2023-12-27 v3
摘要
基于学习的单目运动捕捉方法近来通过数据驱动方式回归展现出有前景的结果。然而，由于数据收集与网络设计的挑战，现有方案仍难以在实现实时全身捕捉的同时在世界坐标系中保持准确。本工作中，我们引入 ProxyCap，一种以人为中心的代理到运动学习方案，从由 2D 骨架序列与 3D 旋转运动组成的代理数据集学习世界坐标系运动。此类代理数据使我们能构建具有准确世界坐标系监督的基于学习的网络，同时缓解泛化问题。为在世界坐标系中获得更准确且物理合理的预测，我们的网络设计为从以人为中心的视角学习人体运动，从而能理解由不同相机轨迹捕获的同一运动。此外，网络中提出了接触感知神经运动下降模块，使其能感知脚-地接触及与代理观测的运动错位。借助所提基于学习的方案，我们展示了首个实时单目全身捕捉系统，即使使用手持移动相机也能在世界坐标系中呈现合理的脚-地接触。我们的项目页面为 https://zhangyux15.github.io/ProxyCapV2。
引用
@article{arxiv.2307.01200,
title = {ProxyCap: Real-time Monocular Full-body Capture in World Space via Human-Centric Proxy-to-Motion Learning},
author = {Yuxiang Zhang and Hongwen Zhang and Liangxiao Hu and Jiajun Zhang and Hongwei Yi and Shengping Zhang and Yebin Liu},
journal= {arXiv preprint arXiv:2307.01200},
year = {2023}
}
备注
Our project page is https://zhangyux15.github.io/ProxyCapV2