面向助理式机器人感知鲁棒性：RGB-Event-LiDAR数据集与多模态检测管线
机器人学
2024-08-27 v1
摘要
人机交互的日益普及为技术应用提供了机会，尤其是对于视力受损者，通过诸如类似导狗的助理式机器人等应用，能够产生积极影响。我们提出了探索感知和“智能不服从”（intelligent disobedience）所必需的管线。已准备好包含两人在视野中来回移动的数据集，用于比较基于RGB和基于事件的多模态动态目标检测，使用LiDAR数据进行3D位置定位。我们的分析突显了使用2D图像-LiDAR融合进行准确3D定位的挑战，表明需要进一步细化。与所使用的帧基检测算法（YOLOv4）相比，当前 cutting-edge 事件基检测模型似乎仅限于情境场景，例如用于汽车平台。当使用基于帧的检测作为ground truth时，这一点通过在不同置信度和交并比（IoU）阈值下的精度和召回率较弱而得以突出。因此，我们已向社区公开发布了该数据集，包含RGB、event、点云和惯性测量单元（IMU）数据 along with two people在场景中ground truth姿态，以填补当前公开可用数据集格局中的空白，并为未来提供一种更安全和更稳健的算法开发手段：https://uts-ri.github.io/revel/。
引用
@article{arxiv.2408.13394,
title = {Towards Robust Perception for Assistive Robotics: An RGB-Event-LiDAR Dataset and Multi-Modal Detection Pipeline},
author = {Adam Scicluna and Cedric Le Gentil and Sheila Sutjipto and Gavin Paul},
journal= {arXiv preprint arXiv:2408.13394},
year = {2024}
}
备注
Accepted to the 2024 IEEE International Conference on Automation Science and Engineering (CASE)