捕捉运动人体的精细形变
计算机视觉与模式识别
2021-05-04 v3 图形学
摘要
我们提出一种捕捉精细人体运动的新方法,在身体上采样超过 1000 个独特点。我们的方法输出高度准确的 4D(时空)点坐标,并且关键地,自动为每一个点分配唯一标签。这些点的位置与唯一标签仅从单独的 2D 输入图像推断得到,不依赖时间跟踪或任何人体形状及骨骼运动学模型。因此,我们捕捉的点轨迹包含输入图像中的所有细节,包括由呼吸、肌肉收缩和肉体形变引起的运动,并且非常适合用作拟合高级人体及其运动模型的训练数据。我们系统背后的关键思想是一种新型动作捕捉服,其包含具有类棋盘角点及双字母编码的特殊图案。我们多相机系统的图像由一系列神经网络处理,这些网络经过训练以定位角点并识别编码,同时对服装拉伸和身体自遮挡具有鲁棒性。我们的系统仅依赖标准 RGB 或单色传感器以及完全被动的照明与被动服装,使得我们的方法易于复现、部署和使用。我们的实验展示了对各种人体姿态的高度准确捕捉,包括瑜伽、体操或在地面翻滚等具有挑战性的运动。
引用
@article{arxiv.2102.07343,
title = {Capturing Detailed Deformations of Moving Human Bodies},
author = {He Chen and Hyojoon Park and Kutay Macit and Ladislav Kavan},
journal= {arXiv preprint arXiv:2102.07343},
year = {2021}
}
备注
20 pages, 25 Figures