基于两阶段蒸馏的高效全身姿态估计
计算机视觉与模式识别
2023-08-28 v2
摘要
全身姿态估计在图像中定位人体、手、脸和脚的关键点。该任务由于多尺度身体部位、低分辨率区域的细粒度定位以及数据稀缺而具有挑战性。同时，将高效且准确的姿态估计器应用于广泛的人为中心的理解和生成任务十分迫切。在本工作中，我们提出一种用于全身姿态估计器的两阶段姿态蒸馏（Distillation for Whole-body Pose estimators，简称 DWPose），以提升其有效性和效率。第一阶段蒸馏设计了一种权重衰减策略，同时利用教师模型的中间特征和包含可见与不可见关键点的最终 logits 从头监督学生模型。第二阶段对学生模型自身进行蒸馏以进一步提升性能。与以往的自知识蒸馏不同，该阶段仅以 20% 的训练时间微调学生模型的头，作为一种即插即用的训练策略。针对数据限制，我们探索了包含多样面部表情和手势以用于实际应用的 UBody 数据集。综合实验展示了我们提出的简单而有效的方法的优越性。我们在 COCO-WholeBody 上取得了新的最先进性能，将 RTMPose-l 的全身 AP 从 64.8% 显著提升至 66.5%，甚至超过了 AP 为 65.3% 的 RTMPose-x 教师模型。我们发布了一系列不同尺寸的模型，从微小到大型，以满足各种下游任务。我们的代码和模型可在 https://github.com/IDEA-Research/DWPose 获取。
引用
@article{arxiv.2307.15880,
title = {Effective Whole-body Pose Estimation with Two-stages Distillation},
author = {Zhendong Yang and Ailing Zeng and Chun Yuan and Yu Li},
journal= {arXiv preprint arXiv:2307.15880},
year = {2023}
}
备注
Accepted by ICCV 2023, CV4Metaverse Workshop