Look into Person：联合人体解析与姿态估计网络及新基准
计算机视觉与模式识别
2018-04-09 v1
摘要
人体解析与姿态估计因巨大的应用潜力近期受到相当关注。然而，现有数据集图像与标注数量有限，且缺乏无约束环境中多样人体外观与挑战性案例的覆盖。本文引入名为“Look into Person (LIP)”的新基准，其在规模性、多样性与难度上取得显著进展，这对以人为中心分析的未来发展至关重要。该综合数据集包含超过 50,000 张精细标注图像，具有 19 个语义部件标签与 16 个人体关节，采集自广泛视角、遮挡与背景复杂度。利用这些丰富标注，我们对领先的人体解析与姿态估计方法进行了详细分析，从而洞察这些方法的成功与失败。为进一步探索并利用两任务的语义关联，我们提出一种新颖的联合人体解析与姿态估计网络以探索高效上下文建模，可同时以极高精度预测解析与姿态。此外，我们通过探索一种新颖的自监督结构敏感学习方法简化网络以解决人体解析，其将人体姿态结构引入解析结果而无需额外监督。数据集、代码与模型可见于 http://www.sysu-hcp.net/lip/。
引用
@article{arxiv.1804.01984,
title = {Look into Person: Joint Body Parsing & Pose Estimation Network and A New Benchmark},
author = {Xiaodan Liang and Ke Gong and Xiaohui Shen and Liang Lin},
journal= {arXiv preprint arXiv:1804.01984},
year = {2018}
}
备注
We proposed the most comprehensive dataset around the world for human-centric analysis! (Accepted By T-PAMI 2018) The dataset, code and models are available at http://www.sysu-hcp.net/lip/ . arXiv admin note: substantial text overlap with arXiv:1703.05446