SHaRPose：用于人体姿态估计的稀疏高分辨率表示
计算机视觉与模式识别
2025-01-07 v1
摘要
高分辨率表示对于在人体姿态估计模型中取得良好性能至关重要。为了获得此类特征，现有工作利用高分辨率输入图像或细粒度图像 token。然而，这种密集的高分辨率表示带来了显著的计算负担。在本文中，我们探讨以下问题：“人体姿态估计仅检测稀疏的人体关键点位置，是否真的有必要以密集的高分辨率方式描述整个图像？”基于动态 Transformer 模型，我们提出了一种仅使用稀疏高分辨率表示进行人体姿态估计的框架（SHaRPose）。具体而言，SHaRPose 由两个阶段组成。在粗阶段，动态挖掘图像区域与关键点之间的关系，同时生成粗略估计。然后，应用质量预测器来决定是否应对粗略估计结果进行细化。在精细阶段，SHaRPose 仅在与关键点相关的区域上构建稀疏高分辨率表示，并提供细化后的高精度人体姿态估计。大量实验证明了所提方法的优异性能。具体而言，与 SOTA 方法 ViTPose 相比，我们的模型 SHaRPose-Base 在 COCO 验证集上达到了 77.4 AP (+0.5 AP)，在 COCO test-dev 集上达到了 76.7 AP (+0.5 AP)，并且推理速度比 ViTPose-Base 快 。
引用
@article{arxiv.2312.10758,
title = {SHaRPose: Sparse High-Resolution Representation for Human Pose Estimation},
author = {Xiaoqi An and Lin Zhao and Chen Gong and Nannan Wang and Di Wang and Jian Yang},
journal= {arXiv preprint arXiv:2312.10758},
year = {2025}
}
备注
Accepted to AAAI 2024