MEBOW：野外环境下的单目人体朝向估计
计算机视觉与模式识别
2020-11-30 v1
摘要
人体朝向估计在许多应用中提供了关键的视觉线索，包括机器人和自动驾驶。当由于图像分辨率低、遮挡或身体部位难以区分而导致三维姿态估计难以推断时，这一估计尤为可取。我们提出了 COCO-MEBOW（野外环境下的单目人体朝向估计，Monocular Estimation of Body Orientation in the Wild），一个用于从单张野外图像中估计朝向的新大规模数据集。我们利用高效且高精度的标注流程，从 COCO 数据集中约 55K 张图像里收集了约 130K 个人体身体的朝向标签。我们还验证了该数据集的益处。首先，我们表明我们的数据集可以显著提升人体朝向估计模型的性能和鲁棒性，该模型的发展此前受限于可用训练数据的规模和多样性。此外，我们提出了一种用于三维人体姿态估计的新颖三源解决方案，其中三维姿态标签、二维姿态标签和我们的身体朝向标签都用于联合训练。我们的模型在单目三维人体姿态估计上显著优于最先进的双源解决方案，后者的训练仅使用三维姿态标签和二维姿态标签。这证实了 MEBOW 对于三维人体姿态估计的一项重要优势，尤其具有吸引力的是，身体朝向的逐实例标注成本远低于三维姿态。该工作展示了 MEBOW 在应对涉及理解人类行为的现实世界挑战方面的高度潜力。本工作的更多信息请访问 https://chenyanwu.github.io/MEBOW/。
引用
@article{arxiv.2011.13688,
title = {MEBOW: Monocular Estimation of Body Orientation In the Wild},
author = {Chenyan Wu and Yukun Chen and Jiajia Luo and Che-Chun Su and Anuja Dawane and Bikramjot Hanzra and Zhuo Deng and Bilan Liu and James Wang and Cheng-Hao Kuo},
journal= {arXiv preprint arXiv:2011.13688},
year = {2020}
}
备注
Accepted by CVPR2020