基于渐进上下文精炼的人体关键点检测
计算机视觉与模式识别
2019-10-29 v1 机器学习
图像与视频处理
摘要
由于人体实例的遮挡、模糊、光照和尺度变化，从单幅图像中进行人体关键点检测非常具有挑战性。本文中，我们发现上下文信息在解决这些问题方面起着重要作用，并提出一种名为渐进上下文精炼（PCR）的人体关键点检测新方法。首先，我们设计了一个简单而有效的上下文感知模块（CAM），能够高效整合空间与通道上下文信息以辅助特征学习，从而定位困难关键点。然后，我们通过顺序堆叠多个带捷径连接的 CAM 构建 PCR 模型，并采用多任务学习来渐进精炼上下文信息与预测。此外，为最大化 PCR 在上述困难样本推断中的潜力，我们提出了一种难负样本人体检测挖掘策略，并利用未标注的 COCO 数据集与外部数据集通过联合训练策略进行训练。在 COCO 关键点检测基准上的大量实验证明了 PCR 优于代表性的当前最优（SOTA）方法。我们的单一模型取得了与 2018 年 COCO 关键点检测挑战赛冠军相当的性能。最终的集成模型在该基准上确立了新的 SOTA。
引用
@article{arxiv.1910.12223,
title = {Human Keypoint Detection by Progressive Context Refinement},
author = {Jing Zhang and Zhe Chen and Dacheng Tao},
journal= {arXiv preprint arXiv:1910.12223},
year = {2019}
}
备注
Technical Report for "Joint COCO and MapillaryWorkshop at ICCV 2019: COCO Keypoint Detection Challenge Track"