联合多人姿态估计与语义部位分割
计算机视觉与模式识别
2017-08-14 v1
摘要
人体姿态估计与语义部位分割是计算机视觉中两个互补的任务。本文提出在自然多人图像中联合解决这两个任务，其中估计的姿态提供对象级形状先验以规范部位分割，而部位级分割则约束姿态位置的变化。具体而言，我们首先训练两个全卷积神经网络（FCN），即 Pose FCN 和 Part FCN，以提供姿态关节势和语义部位势的初始估计。然后，为了优化姿态关节位置，将这两种势与全连接条件随机场（FCRF）融合，其中使用了一种新颖的分割-关节平滑项来鼓励部位与关节之间的语义和空间一致性。为了优化部位分割，通过 Part FCN 将优化后的姿态与原始部位势进行整合，其中来自姿态的骨架特征作为部位分割的附加规范线索。最后，为了降低 FCRF 的复杂度，我们引入人体检测框并在每个框内推断图，使推理速度提高了四十倍。由于目前没有同时包含部位分割和姿态标签的数据集，我们用人体姿态关节扩展了 PASCAL VOC part 数据集，并进行了大量实验以将我们的方法与几种最新策略进行比较。结果表明，在该数据集上，我们的算法在两项任务中均大幅优于竞争方法。
引用
@article{arxiv.1708.03383,
title = {Joint Multi-Person Pose Estimation and Semantic Part Segmentation},
author = {Fangting Xia and Peng Wang and Xianjie Chen and Alan Yuille},
journal= {arXiv preprint arXiv:1708.03383},
year = {2017}
}
备注
This paper has been accepted by CVPR 2017