面向多人体三维姿态估计的无监督跨模态对齐

我们提出了一种便于部署、快速的自底向上多人体三维人体姿态估计框架。我们采用一种新颖的多人体三维姿态神经表示，将人体实例的位置与其对应的三维姿态表示相统一。这是通过学习的生成式姿态嵌入实现的，该嵌入不仅确保合理的三维姿态预测，还消除了先前自底向上方法中所采用的常规关键点分组操作。进一步，我们提出了一种实用的部署范式，其中配对的二维或三维姿态标注不可用。在缺乏任何配对监督的情况下，我们利用一个在辅助多人体二维姿态估计任务上训练的冻结网络作为教师模型。我们将该学习视为跨模态对齐问题，并提出训练目标以实现两种不同模态间的共享潜在空间。我们旨在通过利用人工合成的多人体三维场景样本丰富潜在空间到三维姿态的映射，增强模型超越受限教师网络的能力。我们的方法不仅可泛化至野外图像，而且相较于先前的自顶向下方法，在速度与性能间取得了更优的权衡。在一致监督水平下，我们的方法在自底向上方法中也取得了最先进的多人体三维姿态估计性能。