PoseBH: 超越人体姿态估计的原型多数据集训练
计算机视觉与模式识别
2025-05-26 v1
摘要
我们研究了姿态估计中的多数据集训练 (MDT)，其中骨骼异质性呈现了现有方法尚未解决的独特挑战。在传统领域，例如回归和分类，MDT 通常依赖于数据集合并或多头监督。然而，骨架类型的多样性和有限的跨数据集监督使得在姿态估计中的集成变得复杂。为解决这些挑战，我们引入了 PoseBH，一个新的 MDT 框架，通过两种关键技术应对关键点异质性和有限的监督。首先，我们提出了一种在统一嵌入空间中学习的非参数关键点原型，实现了跨骨架类型的无缝集成。其次，我们开发了一种跨类型自监督机制，将关键点预测与关键点嵌入原型对齐，从而在不依赖教师-学生模型或额外增强的情况下提供监督。PoseBH 在全身和动物姿态数据集（包括 COCO-WholeBody、AP-10K 和 APT-36K）上显著提升了泛化能力，同时保持了在标准人体姿态基准（COCO、MPII 和 AIC）上的性能。此外，我们学到的关键点嵌入有效地迁移到了手部形状估计 (InterHand2.6M) 和人体形状估计 (3DPW)。PoseBH 的代码可在以下地址获取：https://github.com/uyoung-jeong/PoseBH。
引用
@article{arxiv.2505.17475,
title = {PoseBH: Prototypical Multi-Dataset Training Beyond Human Pose Estimation},
author = {Uyoung Jeong and Jonathan Freer and Seungryul Baek and Hyung Jin Chang and Kwang In Kim},
journal= {arXiv preprint arXiv:2505.17475},
year = {2025}
}
备注
accepted to CVPR 2025