每个角度都值得再看一眼：从多视角关节云中挖掘运动学骨架结构

在自遮挡和互遮挡的干扰下，基于稀疏角度观测的多人动作捕捉是一个具有挑战性的问题。现有工作能产生精确的二维关节检测，然而，当这些检测结果被三角化并提升到三维时，所有现有解决方案都难以选择最准确的候选点，并将其关联到正确的关节类型和目标身份。因此，为了充分利用所有精确的二维关节位置信息，我们提出独立地对来自所有相机视角的、属于同一类型的所有二维关节进行三角化，而不考虑其目标身份，从而形成关节云。关节云既包含由相同关节类型和目标身份提升而来的有效关节，也包含来自不同二维源的错误构建的关节。这些冗余和不准确的候选点通过所提出的关节云选择与聚合 Transformer（JCSAT）进行处理，该网络包含三个级联编码器，它们在交叉嵌入空间中深入探索所有三维点候选点之间的轨迹、骨架结构和视角依赖相关性。提出了一个最优令牌注意力路径（OTAP）模块，该模块随后从这些冗余观测中选择并聚合信息特征，用于最终的人体运动预测。为了证明 JCSAT 的有效性，我们构建并发布了一个新的多人动作捕捉数据集 BUMocap-X，该数据集具有复杂的交互和严重的遮挡。在新提出的数据集以及基准数据集上的综合实验验证了所提出框架的有效性，其性能优于所有现有的最先进方法，尤其是在具有挑战性的遮挡场景下。