面向近距离人机交互的人体关键点检测
计算机视觉与模式识别
2023-02-13 v2 机器人学
摘要
我们研究了最先进的人体关键点检测器在近距离人机交互场景下的性能。该场景下的检测具有特殊性：仅有手和躯干等部分身体部位处于视场中。具体而言，(i)我们从近距离图像视角调研了现有带人体姿态标注的数据集，并准备并公开了一个新的近距离人体(HiCP)数据集；(ii)我们在该数据集上定量与定性地比较了最先进的人体全身2D关键点检测方法(OpenPose、MMPose、AlphaPose、Detectron2)；(iii)由于在手递交接应用中对手和手指的准确检测至关重要，我们评估了MediaPipe手部检测器的性能；(iv)我们将算法部署在一台配备头部RGB-D相机的人形机器人上，并评估其3D人体关键点检测性能，以动作捕捉系统作为参考。近距离场景下性能最佳的全身关键点检测器为MMPose和AlphaPose，但二者在手指检测上均有困难。因此，我们提出在单一框架中组合MMPose或AlphaPose用于身体、MediaPipe用于手部，以提供最准确且鲁棒的检测。我们还分析了各检测器的失效模式——例如，图像中缺失人体头部在多大程度上降低性能。最后，我们在一个场景中将此框架用于演示：人形机器人与人交互时利用检测到的3D关键点执行全身避让动作。
引用
@article{arxiv.2207.07742,
title = {Human keypoint detection for close proximity human-robot interaction},
author = {Jan Docekal and Jakub Rozlivek and Jiri Matas and Matej Hoffmann},
journal= {arXiv preprint arXiv:2207.07742},
year = {2023}
}
备注
8 pages 8 figures