SelfPose3d：自监督多人多视角三维姿态估计

我们提出了一种新的自监督方法 SelfPose3d，用于从多个相机视角估计多人的三维姿态。与当前最先进的全监督方法不同，我们的方法不需要任何二维或三维真值姿态，仅使用来自标定相机设置的多视角输入图像以及由现成的二维人体姿态估计器生成的二维伪姿态。我们提出了两个自监督学习目标：三维空间中的自监督人员定位和自监督三维姿态估计。我们通过在合成生成的三维点（作为三维人员根位置）和所有视图中的投影根热图上训练模型，实现了自监督的三维人员定位。然后，我们使用瓶颈表示对所有已定位人员的三维姿态进行建模，将其映射到所有视图以获得二维关节点，并以端到端可微的方式使用二维高斯热图对其进行渲染。随后，我们使用来自伪二维姿态的对应二维关节点和热图进行学习。为了减轻伪标签固有的不准确性，我们提出了一种自适应监督注意力机制来指导自监督过程。我们在三个公开基准数据集（包括 Panoptic、Shelf 和 Campus）上的实验和分析表明了我们方法的有效性，其表现与全监督方法相当。代码：https://github.com/CAMMA-public/SelfPose3D。视频演示：https://youtu.be/GAqhmUIr2E8。