Pose2Instance：利用关键点进行人体实例分割
计算机视觉与模式识别
2017-04-06 v1
摘要
人体关键点是一种被充分研究的人体表示。我们探索如何利用关键点模型来改进实例级人体分割。主要思想是利用先验提供的关键点或估计的关键点热图的距离变换概念，作为深度神经网络内人体实例分割任务的先验。对于训练与评估，我们考虑 COCO 中所有同时具备实例分割与人体关键点标注的图像。我们首先展示在无需任何训练的情况下，先验关键点如何在推理阶段提升现有人体分割模型的性能。接着，我们提出一个框架，直接学习以人体姿态为条件的深度实例分割模型。实验结果表明，在各种交并比（IOU）阈值下，在使用先验关键点的受限环境中，实例分割精度相对于先验边界框的强基线实现了 10% 到 12% 的相对提升。在更真实的环境中，在没有先验关键点的情况下，所提出的以人体姿态为条件的深度人体实例分割模型与仅训练用于分割的深度网络这一最强基线相比，实现了 3.8% 到 10.5% 的相对提升。
引用
@article{arxiv.1704.01152,
title = {Pose2Instance: Harnessing Keypoints for Person Instance Segmentation},
author = {Subarna Tripathi and Maxwell Collins and Matthew Brown and Serge Belongie},
journal= {arXiv preprint arXiv:1704.01152},
year = {2017}
}