从带遮挡的 RGB-D 数据重建三维人体姿态
计算机视觉与模式识别
2023-10-17 v2 图形学
摘要
我们提出一种从带遮挡的 RGB-D 图像重建三维人体的新方法。最主要的挑战是 RGB-D 数据因人体与环境间遮挡而不完整,导致重建结果不合理并出现严重的人-景穿透。为重建语义与物理上合理的人体,我们提出基于场景信息与先验知识缩小解空间。我们的核心思想是通过分别考虑被遮挡与可见身体部位来约束人体的解空间:建模被遮挡身体部位不穿透场景的所有合理姿态,并利用深度数据约束可见身体部位。具体而言,第一部分由一个神经网络实现,该网络估计称为“自由区”的候选区域,即从开放空间中雕刻出的区域,在其中可安全搜索不可见身体部位的姿态而无需担心穿透。第二部分利用扫描人体点云的“截断阴影体”约束可见身体部位。此外,我们提出一种体积匹配策略,其性能优于表面匹配,用于将人体与受限区域匹配。我们在 PROX 数据集上进行了实验,结果表明与其他方法相比,我们的方法产生了更准确且合理的结果。
引用
@article{arxiv.2310.01228,
title = {Reconstructing 3D Human Pose from RGB-D Data with Occlusions},
author = {Bowen Dang and Xi Zhao and Bowen Zhang and He Wang},
journal= {arXiv preprint arXiv:2310.01228},
year = {2023}
}