用于多人姿态估计的级联金字塔网络
计算机视觉与模式识别
2018-04-10 v2
摘要
多人姿态估计问题近来已取得很大进展，尤其是随着卷积神经网络的发展。然而，仍存在许多具有挑战性的情况，如被遮挡的关键点、不可见的关键点以及复杂背景，这些尚不能很好地解决。本文提出一种称为级联金字塔网络（CPN）的新型网络结构，旨在缓解这些“困难”关键点带来的问题。更具体地，我们的算法包括两个阶段：GlobalNet 和 RefineNet。GlobalNet 是一个特征金字塔网络，能够成功定位“简单”关键点（如眼睛和手），但可能无法精确识别被遮挡或不可见的关键点。我们的 RefineNet 通过整合来自 GlobalNet 的所有层级特征表示，并结合在线困难关键点挖掘损失，显式地处理“困难”关键点。总体而言，为解决多人姿态估计问题，采用自顶向下流程，先基于检测器生成一组人体边界框，随后由我们的 CPN 对每个边界框内进行关键点定位。基于所提算法，我们在 COCO 关键点基准上取得了 SOTA 结果，在 COCO test-dev 数据集上平均精度为 73.0，在 COCO test-challenge 数据集上为 72.1，相比 COCO 2016 关键点挑战赛的 60.5 有 19% 的相对提升。代码（https://github.com/chenyilun95/tf-cpn.git）与检测结果已公开以供进一步研究。
引用
@article{arxiv.1711.07319,
title = {Cascaded Pyramid Network for Multi-Person Pose Estimation},
author = {Yilun Chen and Zhicheng Wang and Yuxiang Peng and Zhiqiang Zhang and Gang Yu and Jian Sun},
journal= {arXiv preprint arXiv:1711.07319},
year = {2018}
}
备注
10 pages, accepted to CVPR 2018