单网络全身姿态估计
计算机视觉与模式识别
2019-10-01 v1 机器学习
摘要
我们提出了首个用于 2D 全身姿态估计的单网络方法，其同时定位身体、面部、手部和足部关键点。由于采用自底向上框架，我们的方法无论图像中人数多少均保持恒定的实时性能。该网络通过改进的可处理身体/足部与面部/手部关键点间尺度差异的架构，以单阶段多任务学习进行训练。我们的方法在速度与全局精度上均大幅优于 OpenPose~\cite{cao2018openpose}（迄今唯一能进行全身姿态估计的工作）。与 OpenPose 不同，我们的方法无需为每个手部和面部候选运行额外网络，从而在多人场景下显著更快。本工作直接降低了需要 2D 全身信息（如 VR/AR、重定向）应用的计算复杂度。此外，它获得了更高精度，尤其针对被遮挡、模糊及低分辨率的面部与手部。有关代码、训练模型与验证基准，请访问我们的项目页：https://github.com/CMU-Perceptual-Computing-Lab/openpose_train。
引用
@article{arxiv.1909.13423,
title = {Single-Network Whole-Body Pose Estimation},
author = {Gines Hidalgo and Yaadhav Raaj and Haroon Idrees and Donglai Xiang and Hanbyul Joo and Tomas Simon and Yaser Sheikh},
journal= {arXiv preprint arXiv:1909.13423},
year = {2019}
}
备注
ICCV 2019