面向共享城市区域中人与机器人交互时人体姿态的大规模融合标注数据集
摘要
在过去十年中，自主配送机器人（ADR）响应日益增长的电子商务需求，改变了传统的配送方式。然而，ADR在共享城市区域中安全地在行人中导航的准备程度仍然是一个悬而未决的问题。我们认为，在理解它们与行人在此类环境中的交互方面存在关键的研究空白。人体姿态估计是各种下游应用（包括姿态预测和社交感知机器人路径规划）的重要基石。然而，缺乏捕捉共享城市区域中人与机器人交互的丰富且带有姿态标注的数据集阻碍了这一目标。在本文中，我们通过重新利用、融合和标注两个分别专注于行人跟踪和同时定位与地图构建（SLAM）的数据集MOT17和NCLT来弥补这一空白。由此产生的独特数据集代表了数千个真实世界的室内和室外人机交互场景。利用YOLOv7，我们获得了人体姿态的视觉和数值输出，并通过手动标注提供了真实姿态。为了克服传统MPJPE指标中存在的距离偏差，本研究引入了一种新的人体姿态估计误差指标，称为平均缩放关节误差（MSJE），通过将边界框维度纳入其中。结果表明，YOLOv7在两个数据集中都能有效估计人体姿态。然而，它在特定场景（如室内、有聚焦光源的拥挤场景）中表现较弱，其中MPJPE和MSJE分别记录为10.89和25.3。相比之下，YOLOv7在单人估计（NCLT序列2）和室外场景（MOT17序列1）中表现更好，MSJE值分别为5.29和3.38。
引用
@article{arxiv.2402.10077,
title = {Towards a large-scale fused and labeled dataset of human pose while interacting with robots in shared urban areas},
author = {E. Sherafat and B. Farooq},
journal= {arXiv preprint arXiv:2402.10077},
year = {2024}
}
备注
Sherafat E., and Farooq B., (2024). Towards a large-scale fused and labeled dataset of human pose while interacting with robots in shared urban areas. In the proceedings of the 103rd Annual Meeting of Transportation Research Board. Washington DC