UniHPE:基于对比学习的统一人体姿态估计方法
计算机视觉与模式识别
2023-11-29 v1
摘要
近来,开发有效的感知技术以融合多模态信息日益受到关注。这涉及对齐来自不同源的特征,以便利用更大数据集和约束进行更高效训练,并充分利用各模态所含丰富信息。2D 与 3D 人体姿态估计(Human Pose Estimation, HPE)是计算机视觉中两项关键的感知任务,具有诸多下游应用,如动作识别、人机交互、目标跟踪等。然而,利用对比范式清晰研究图像与 2D/3D 人体姿态之间关联的工作十分有限。本文提出 UniHPE,一种统一的人体姿态估计流程,其在同一流程中对齐来自全部三种模态的特征,即 2D 人体姿态估计、基于提升(lifting-based)和基于图像的 3D 人体姿态估计。为同时对齐两个以上模态,我们提出一种基于奇异值的新颖对比学习损失,能更好地对齐不同模态并进一步提升性能。在我们的评估中,UniHPE 取得了卓越的性能指标:在 Human3.6M 数据集上 MPJPE 为 mm,在 3DPW 数据集上 PAMPJPE 为 mm。所提方法极具潜力推动计算机视觉领域发展并贡献于各类应用。
引用
@article{arxiv.2311.16477,
title = {UniHPE: Towards Unified Human Pose Estimation via Contrastive Learning},
author = {Zhongyu Jiang and Wenhao Chai and Lei Li and Zhuoran Zhou and Cheng-Yen Yang and Jenq-Neng Hwang},
journal= {arXiv preprint arXiv:2311.16477},
year = {2023}
}