学习热力图式拼图可为二维人体姿态估计提供良好的预训练
计算机视觉与模式识别
2020-12-15 v1
摘要
二维人体姿态估计的目标是从输入的二维图像中定位身体部位的关键点。最先进的姿态估计方法通常从关键点构建逐像素热力图作为标签来学习卷积神经网络，这些网络通常随机初始化或使用 ImageNet 上的分类模型作为其骨干。我们注意到二维姿态估计任务高度依赖于图像块之间的上下文关系，因此引入一种自监督方法来预训练二维姿态估计网络。具体而言，我们提出热力图式拼图（HSJP）问题作为前置任务，其目标是从由打乱的图像块组成的图像中学习每个图像块的位置。在我们的预训练过程中，仅使用 MS-COCO 中的人体实例图像，而不引入额外且大得多的 ImageNet 数据集。我们设计了图像块位置的热力图式标签，且学习过程采用非对比方式。HSJP 前置任务学习到的权重被用作二维人体姿态估计器的骨干，随后在 MS-COCO 人体关键点数据集上微调。借助两种流行且强大的二维人体姿态估计器 HRNet 和 SimpleBaseline，我们在 MS-COCO 验证集和 test-dev 数据集上评估 mAP 分数。实验表明，采用我们自监督预训练的下游姿态估计器比从头训练的估计器性能更优，且与使用 ImageNet 分类模型作为初始骨干的估计器相当。
引用
@article{arxiv.2012.07101,
title = {Learning Heatmap-Style Jigsaw Puzzles Provides Good Pretraining for 2D Human Pose Estimation},
author = {Kun Zhang and Rui Wu and Ping Yao and Kai Deng and Ding Li and Renbiao Liu and Chuanguang Yang and Ge Chen and Min Du and Tianyao Zheng},
journal= {arXiv preprint arXiv:2012.07101},
year = {2020}
}