使用稀疏多视角相机的轻量级多人全身运动捕捉
计算机视觉与模式识别
2021-08-25 v1
摘要
在处理严重遮挡、从身体到面部和手部的不同重建粒度、剧烈变化的观测尺度以及快速身体运动时，多人全身运动捕捉极具挑战性。为了克服上述挑战，我们提出了一种仅使用稀疏多视角相机的轻量级全身运动捕捉系统，用于多人交互场景。通过提出一种新颖的手部和面部引导算法，我们的方法即使在严重遮挡的情况下也能实现高效定位和准确的手部与面部关联。我们同时利用姿态回归和关键点检测方法，并进一步提出了一种统一的两阶段参数化拟合方法，以实现像素对齐的精度。此外，针对极度自遮挡姿态和近距离交互，我们提出了一种新颖的反馈机制，将像素对齐的重建结果传播到下一帧，以实现更准确的关联。总体而言，我们提出了首个轻量级全身捕捉系统，并实现了快速、鲁棒且准确的多人全身运动捕捉性能。结果和实验表明，在稀疏视角设置下，我们的方法比现有方法取得了更准确的结果。
引用
@article{arxiv.2108.10378,
title = {Lightweight Multi-person Total Motion Capture Using Sparse Multi-view Cameras},
author = {Yuxiang Zhang and Zhe Li and Liang An and Mengcheng Li and Tao Yu and Yebin Liu},
journal= {arXiv preprint arXiv:2108.10378},
year = {2021}
}