将关键点作为动态质心用于统一的人体姿态与分割
计算机视觉与模式识别
2025-05-20 v1 人工智能
摘要
人体的动态运动是人体姿态估计和身体分割面临的根本挑战。最先进的方法主要依赖将关键点热图与分割掩码组合，但在涉及重叠关节或实例级别分割中快速变化姿态的场景时常常难以应对。为解决这些限制，我们提出将关键点作为动态质心 (KDC)，一种用于统一人体姿态估计和实例级别分割的新的质心表示方法。KDC采用自下而上的范式为两种易于区分和复杂的关键点生成热图图，并通过引入关键质心（KeyCentroids）使用关键点圆来提高关键点检测和置信度得分。它利用高置信度关键点作为嵌入空间中的动态质心来生成掩码质心 (MaskCentroids)，从而在直播环境中快速身体运动期间的特定人类实例像素进行快速聚类。我们的实验评估在CrowdPose、OCHuman和COCO基准数据集上表明，KDC在两方面都在挑战性场景中表现出色和通用性，即准确性和运行时性能。实现已可用：https://sites.google.com/view/niazahmad/projects/kdc。
引用
@article{arxiv.2505.12130,
title = {Keypoints as Dynamic Centroids for Unified Human Pose and Segmentation},
author = {Niaz Ahmad and Jawad Khan and Kang G. Shin and Youngmoon Lee and Guanghui Wang},
journal= {arXiv preprint arXiv:2505.12130},
year = {2025}
}