基于多路视频摄像机的实时多人动作捕捉的4D关联图
计算机视觉与模式识别
2020-03-02 v1
摘要
本文提出了一种利用多视角视频输入的新型实时多人动作捕捉算法。由于每个视角存在严重的遮挡，对多视角图像与多个时间帧进行联合优化必不可少，这也带来了实时性的核心挑战。为此，我们首次将逐视角解析、跨视角匹配与时间跟踪统一到单一优化框架中，即一个4D关联图，其中每个维度（图像空间、视角和时间）可被平等且同时地处理。为高效求解4D关联图，我们进一步提出了基于启发式搜索的4D肢体束解析思想，并通过提出束式Kruskal算法进行肢体束组装。我们的方法实现了在5人场景下使用5台摄像机以30fps运行的实时在线动作捕捉系统。得益于统一的解析、匹配与跟踪约束，我们的方法对噪声检测具有鲁棒性，并实现了高质量的在线姿态重建。所提方法在定量上优于最先进（SOTA）方法，且未使用高级外观信息。我们还贡献了一个与基于标记的动作捕捉系统同步的多视角视频数据集，用于科学评估。
引用
@article{arxiv.2002.12625,
title = {4D Association Graph for Realtime Multi-person Motion Capture Using Multiple Video Cameras},
author = {Yuxiang Zhang and Liang An and Tao Yu and Xiu Li and Kun Li and Yebin Liu},
journal= {arXiv preprint arXiv:2002.12625},
year = {2020}
}
备注
Accepted to CVPR 2020