AlphaPose：实时全身分区多人姿态估计与跟踪
计算机视觉与模式识别
2022-11-08 v1
摘要
准确的全身多人姿态估计与跟踪是计算机视觉中一个重要且具有挑战性的课题。为了捕捉人类细微动作以进行复杂行为分析，包含面部、身体、手和脚的全身姿态估计相较于传统的仅身体姿态估计至关重要。本文提出 AlphaPose，一个能够在实时运行的同时联合进行准确全身姿态估计与跟踪的系统。为此，我们提出了若干新技术：用于快速精细定位的对称积分关键点回归（SIKR）、用于消除冗余人体检测的参姿态非极大值抑制（P-NMS），以及用于联合姿态估计与跟踪的姿态感知身份嵌入。在训练过程中，我们借助部件引导提议生成器（PGPG）和多领域知识蒸馏来进一步提升精度。我们的方法能够在给定不准确的边界框和冗余检测的情况下，准确定位全身关键点并同时跟踪人体。我们在 COCO-wholebody、COCO、PoseTrack 以及我们提出的 Halpe-FullBody 姿态估计数据集上，展示了相较当前最先进方法在速度和精度上的显著提升。我们的模型、源代码和数据集已在 https://github.com/MVIG-SJTU/AlphaPose 公开可用。
引用
@article{arxiv.2211.03375,
title = {AlphaPose: Whole-Body Regional Multi-Person Pose Estimation and Tracking in Real-Time},
author = {Hao-Shu Fang and Jiefeng Li and Hongyang Tang and Chao Xu and Haoyi Zhu and Yuliang Xiu and Yong-Lu Li and Cewu Lu},
journal= {arXiv preprint arXiv:2211.03375},
year = {2022}
}
备注
Documents for AlphaPose, accepted to TPAMI