RSB-Pose：具备遮挡处理的鲁棒短基线双目三维人体姿态估计

在具有广泛日常应用的三维人体姿态估计领域中，对便捷采集设备的需求持续增长。为满足该需求，我们着眼于一种短基线双目设置，其兼具便携性以及从根本上缓解深度歧义的几何测量特性。然而，随着双目基线的缩短，两个严峻挑战浮现：其一，三维重建对二维误差的鲁棒性恶化；其二，由于两视角间视觉差异有限，遮挡重新出现。为应对首个挑战，我们提出立体共关键点估计模块，以改善二维关键点的视角一致性并增强三维鲁棒性。该模块中，视差被用于表征双目二维点的对应关系，并引入立体体特征（Stereo Volume Feature, SVF）以容纳跨不同视差的双目特征。通过对 SVF 的回归，以协作方式同时估计双视角二维关键点，从而约束其视角一致性。此外，为处理遮挡，引入预训练姿态 Transformer 模块。通过该模块，三维姿态通过感知姿态连贯性（一种关节相关性的表示）得以精炼。此感知由 Pose Transformer 网络注入，并通过恢复迭代掩码关节的预训练任务学习。在 H36M 与 MHAD 数据集上开展的全面实验及可视化结果，验证了我们的方法在短基线双目三维人体姿态估计与遮挡处理中的有效性。