UniHPR：基于奇异值对比学习的统一人体姿态表示
计算机视觉与模式识别
2025-10-23 v1
摘要
近年来，开发有效的对齐流程以从不同模态生成统一表示用于多模态融合与生成引起了越来越多的关注。作为以人为中心应用的重要组成部分，人体姿态表示在许多下游任务中至关重要，例如人体姿态估计、动作识别、人机交互、目标跟踪等。人体姿态表示或嵌入可以从图像、2D关键点、3D骨架、网格模型以及许多其他模态中提取。然而，目前很少有实例通过对比范式清晰研究所有这些表示之间的相关性。在本文中，我们提出了UniHPR，一种统一的人体姿态表示学习流程，它将来自图像、2D和3D人体姿态的人体姿态嵌入对齐。为了同时对齐两个以上的数据表示，我们提出了一种新颖的基于奇异值的对比学习损失，该损失能更好地对齐不同模态并进一步提升性能。为了评估对齐表示的有效性，我们选择2D和3D人体姿态估计作为评估任务。在我们的评估中，使用一个简单的3D人体姿态解码器，UniHPR取得了显著的性能指标：在Human3.6M数据集上MPJPE为49.9mm，在3DPW数据集上通过跨域评估PA-MPJPE为51.6mm。同时，我们能够在Human3.6M数据集上利用统一的人体姿态表示实现2D和3D姿态检索，检索误差在MPJPE上为9.24mm。
引用
@article{arxiv.2510.19078,
title = {UniHPR: Unified Human Pose Representation via Singular Value Contrastive Learning},
author = {Zhongyu Jiang and Wenhao Chai and Lei Li and Zhuoran Zhou and Cheng-Yen Yang and Jenq-Neng Hwang},
journal= {arXiv preprint arXiv:2510.19078},
year = {2025}
}